VidVec: Freischaltung von Video-MLLM-Embeddings für die Video-Text-Retrieval
VidVec: Unlocking Video MLLM Embeddings for Video-Text Retrieval
February 8, 2026
papers.authors: Issar Tzachor, Dvir Samuel, Rami Ben-Ari
cs.AI
papers.abstract
Aktuelle Studien haben generative multimodale Large Language Models (MLLMs) zu Embedding-Extraktoren für Vision-Aufgaben adaptiert, typischerweise durch Fine-Tuning, um universelle Repräsentationen zu erzeugen. Ihre Leistung bei Videos bleibt jedoch hinter der von Video Foundation Models (VFMs) zurück. In diesem Beitrag konzentrieren wir uns darauf, MLLMs für Video-Text-Embeddings und -Retrieval zu nutzen. Wir führen zunächst eine systematische schichtweise Analyse durch, die zeigt, dass intermediate (vorab trainierte) MLLM-Schichten bereits substantiale aufgabenrelevante Informationen kodieren. Gestützt auf diese Erkenntnis demonstrieren wir, dass die Kombination von Embeddings aus Zwischenschichten mit einem kalibrierten MLLM-Head starke Zero-Shot-Retrieval-Leistung ohne jegliches Training erzielt. Aufbauend auf diesen Ergebnissen führen wir eine leichtgewichtige textbasierte Alignment-Strategie ein, die dichte Videobeschreibungen auf kurze Zusammenfassungen abbildet und das Lernen aufgabenbezogener Video-Text-Embeddings ohne visuelle Supervision ermöglicht. Bemerkenswerterweise übertrifft unsere Methode ohne jegliches Fine-Tuning über Text hinaus aktuelle Verfahren, oft mit erheblichem Abstand, und erzielt state-of-the-art Ergebnisse in gängigen Video-Retrieval-Benchmarks.
English
Recent studies have adapted generative Multimodal Large Language Models (MLLMs) into embedding extractors for vision tasks, typically through fine-tuning to produce universal representations. However, their performance on video remains inferior to Video Foundation Models (VFMs). In this paper, we focus on leveraging MLLMs for video-text embedding and retrieval. We first conduct a systematic layer-wise analysis, showing that intermediate (pre-trained) MLLM layers already encode substantial task-relevant information. Leveraging this insight, we demonstrate that combining intermediate-layer embeddings with a calibrated MLLM head yields strong zero-shot retrieval performance without any training. Building on these findings, we introduce a lightweight text-based alignment strategy which maps dense video captions to short summaries and enables task-related video-text embedding learning without visual supervision. Remarkably, without any fine-tuning beyond text, our method outperforms current methods, often by a substantial margin, achieving state-of-the-art results across common video retrieval benchmarks.