EgoVLPv2: Pre-addestramento Video-Linguaggio Egocentrico con Fusione nel Backbone
EgoVLPv2: Egocentric Video-Language Pre-training with Fusion in the Backbone
July 11, 2023
Autori: Shraman Pramanick, Yale Song, Sayan Nag, Kevin Qinghong Lin, Hardik Shah, Mike Zheng Shou, Rama Chellappa, Pengchuan Zhang
cs.AI
Abstract
Il pre-training video-linguaggio (VLP) è diventato sempre più importante grazie alla sua capacità di generalizzare su vari compiti di visione e linguaggio. Tuttavia, i framework esistenti di VLP egocentrico utilizzano encoder separati per video e linguaggio e apprendono informazioni cross-modali specifiche per il compito solo durante il fine-tuning, limitando lo sviluppo di un sistema unificato. In questo lavoro, introduciamo la seconda generazione di pre-training video-linguaggio egocentrico (EgoVLPv2), un significativo miglioramento rispetto alla generazione precedente, incorporando la fusione cross-modale direttamente nei backbone di video e linguaggio. EgoVLPv2 apprende rappresentazioni video-testo robuste durante il pre-training e riutilizza i moduli di attenzione cross-modale per supportare diversi compiti downstream in modo flessibile ed efficiente, riducendo i costi di fine-tuning. Inoltre, la nostra strategia di fusione nel backbone è più leggera e computazionalmente efficiente rispetto all'aggiunta di ulteriori livelli specifici per la fusione. Esperimenti estesi su un'ampia gamma di compiti VL dimostrano l'efficacia di EgoVLPv2, raggiungendo prestazioni all'avanguardia coerenti rispetto a baseline solide in tutti i compiti downstream. La pagina del nostro progetto è disponibile all'indirizzo https://shramanpramanick.github.io/EgoVLPv2/.
English
Video-language pre-training (VLP) has become increasingly important due to
its ability to generalize to various vision and language tasks. However,
existing egocentric VLP frameworks utilize separate video and language encoders
and learn task-specific cross-modal information only during fine-tuning,
limiting the development of a unified system. In this work, we introduce the
second generation of egocentric video-language pre-training (EgoVLPv2), a
significant improvement from the previous generation, by incorporating
cross-modal fusion directly into the video and language backbones. EgoVLPv2
learns strong video-text representation during pre-training and reuses the
cross-modal attention modules to support different downstream tasks in a
flexible and efficient manner, reducing fine-tuning costs. Moreover, our
proposed fusion in the backbone strategy is more lightweight and
compute-efficient than stacking additional fusion-specific layers. Extensive
experiments on a wide range of VL tasks demonstrate the effectiveness of
EgoVLPv2 by achieving consistent state-of-the-art performance over strong
baselines across all downstream. Our project page can be found at
https://shramanpramanick.github.io/EgoVLPv2/.