OMCAT: Трансформер с универсальным контекстом

OMCAT: Omni Context Aware Transformer

October 15, 2024

Авторы: Arushi Goel, Karan Sapra, Matthieu Le, Rafael Valle, Andrew Tao, Bryan Catanzaro

cs.AI

Аннотация

Большие языковые модели (LLM) сделали значительные успехи в генерации и понимании текста, с недавними достижениями, расширяющимися на мультимодальные LLM, интегрирующие визуальные и звуковые входы. Однако эти модели продолжают испытывать трудности с детализированным кросс-модальным временным пониманием, особенно при корреляции событий по аудио- и видеопотокам. Мы решаем эти проблемы с помощью двух ключевых вкладов: нового набора данных и модели, названных соответственно OCTAV и OMCAT. OCTAV (Omni Context and Temporal Audio Video) - это новый набор данных, разработанный для захвата переходов событий по аудио и видео. Во-вторых, OMCAT (Omni Context Aware Transformer) - мощная модель, использующая RoTE (Rotary Time Embeddings), инновационное расширение RoPE, для улучшения временной привязки и вычислительной эффективности в задачах, связанных со временем. Через устойчивый трехэтапный процесс обучения - выравнивание признаков, настройка инструкций и обучение, специфичное для OCTAV - OMCAT превосходит в кросс-модальном временном понимании. Наша модель демонстрирует передовые результаты в задачах вопросов и ответов по аудио и видео (AVQA) и на бенчмарке OCTAV, показывая значительные улучшения во временном рассуждении и кросс-модальном выравнивании, что подтверждается через обширные эксперименты и исследования абляции. Наш набор данных и код будут общедоступны. Ссылка на нашу демонстрационную страницу: https://om-cat.github.io.

English

Large Language Models (LLMs) have made significant strides in text generation and comprehension, with recent advancements extending into multimodal LLMs that integrate visual and audio inputs. However, these models continue to struggle with fine-grained, cross-modal temporal understanding, particularly when correlating events across audio and video streams. We address these challenges with two key contributions: a new dataset and model, called OCTAV and OMCAT respectively. OCTAV (Omni Context and Temporal Audio Video) is a novel dataset designed to capture event transitions across audio and video. Second, OMCAT (Omni Context Aware Transformer) is a powerful model that leverages RoTE (Rotary Time Embeddings), an innovative extension of RoPE, to enhance temporal grounding and computational efficiency in time-anchored tasks. Through a robust three-stage training pipeline-feature alignment, instruction tuning, and OCTAV-specific training-OMCAT excels in cross-modal temporal understanding. Our model demonstrates state-of-the-art performance on Audio-Visual Question Answering (AVQA) tasks and the OCTAV benchmark, showcasing significant gains in temporal reasoning and cross-modal alignment, as validated through comprehensive experiments and ablation studies. Our dataset and code will be made publicly available. The link to our demo page is https://om-cat.github.io.