EgoVLPv2: Эгоцентричное видео-языковое предобучение с интеграцией в базовую архитектуру
EgoVLPv2: Egocentric Video-Language Pre-training with Fusion in the Backbone
July 11, 2023
Авторы: Shraman Pramanick, Yale Song, Sayan Nag, Kevin Qinghong Lin, Hardik Shah, Mike Zheng Shou, Rama Chellappa, Pengchuan Zhang
cs.AI
Аннотация
Предварительное обучение на видео и тексте (Video-Language Pre-training, VLP) приобретает все большее значение благодаря своей способности обобщать различные задачи в области зрения и языка. Однако существующие эгоцентричные VLP-фреймворки используют отдельные кодировщики для видео и текста и изучают специфическую для задач кросс-модальную информацию только на этапе тонкой настройки, что ограничивает развитие унифицированной системы. В данной работе мы представляем второе поколение эгоцентричного предварительного обучения на видео и тексте (EgoVLPv2), значительное улучшение по сравнению с предыдущим поколением, за счет внедрения кросс-модального слияния непосредственно в базовые архитектуры для видео и текста. EgoVLPv2 изучает мощные представления видео и текста на этапе предварительного обучения и повторно использует модули кросс-модального внимания для поддержки различных задач в гибкой и эффективной манере, снижая затраты на тонкую настройку. Более того, предложенная стратегия слияния в базовой архитектуре является более легковесной и вычислительно эффективной по сравнению с добавлением дополнительных слоев, специфичных для слияния. Многочисленные эксперименты на широком спектре задач видео-языкового взаимодействия демонстрируют эффективность EgoVLPv2, достигая стабильно наилучших результатов по сравнению с сильными базовыми моделями во всех задачах. Наша страница проекта доступна по адресу https://shramanpramanick.github.io/EgoVLPv2/.
English
Video-language pre-training (VLP) has become increasingly important due to
its ability to generalize to various vision and language tasks. However,
existing egocentric VLP frameworks utilize separate video and language encoders
and learn task-specific cross-modal information only during fine-tuning,
limiting the development of a unified system. In this work, we introduce the
second generation of egocentric video-language pre-training (EgoVLPv2), a
significant improvement from the previous generation, by incorporating
cross-modal fusion directly into the video and language backbones. EgoVLPv2
learns strong video-text representation during pre-training and reuses the
cross-modal attention modules to support different downstream tasks in a
flexible and efficient manner, reducing fine-tuning costs. Moreover, our
proposed fusion in the backbone strategy is more lightweight and
compute-efficient than stacking additional fusion-specific layers. Extensive
experiments on a wide range of VL tasks demonstrate the effectiveness of
EgoVLPv2 by achieving consistent state-of-the-art performance over strong
baselines across all downstream. Our project page can be found at
https://shramanpramanick.github.io/EgoVLPv2/.