OMCAT: Trasformatore Onnicontesto Consapevole

OMCAT: Omni Context Aware Transformer

October 15, 2024

Autori: Arushi Goel, Karan Sapra, Matthieu Le, Rafael Valle, Andrew Tao, Bryan Catanzaro

cs.AI

Abstract

I Large Language Models (LLM) hanno compiuto progressi significativi nella generazione e comprensione di testo, con recenti sviluppi che si estendono ai LLM multimodali che integrano input visivi e audio. Tuttavia, questi modelli continuano a incontrare difficoltà nella comprensione temporale fine e cross-modale, in particolare nel correlare eventi attraverso flussi audio e video. Affrontiamo queste sfide con due contributi chiave: un nuovo dataset e un modello, chiamati rispettivamente OCTAV e OMCAT. OCTAV (Omni Context and Temporal Audio Video) è un dataset innovativo progettato per catturare le transizioni degli eventi attraverso audio e video. In secondo luogo, OMCAT (Omni Context Aware Transformer) è un modello potente che sfrutta RoTE (Rotary Time Embeddings), un'estensione innovativa di RoPE, per migliorare l'ancoraggio temporale e l'efficienza computazionale in compiti ancorati nel tempo. Attraverso un robusto processo di addestramento in tre fasi - allineamento delle caratteristiche, ottimizzazione delle istruzioni e addestramento specifico di OCTAV - OMCAT eccelle nella comprensione temporale cross-modale. Il nostro modello dimostra prestazioni all'avanguardia nei compiti di domande e risposte audio-visive (AVQA) e nel benchmark OCTAV, mostrando significativi progressi nel ragionamento temporale e nell'allineamento cross-modale, come confermato attraverso esperimenti completi e studi di ablation. Il nostro dataset e il codice saranno resi pubblicamente disponibili. Il link alla nostra pagina demo è https://om-cat.github.io.

English

Large Language Models (LLMs) have made significant strides in text generation and comprehension, with recent advancements extending into multimodal LLMs that integrate visual and audio inputs. However, these models continue to struggle with fine-grained, cross-modal temporal understanding, particularly when correlating events across audio and video streams. We address these challenges with two key contributions: a new dataset and model, called OCTAV and OMCAT respectively. OCTAV (Omni Context and Temporal Audio Video) is a novel dataset designed to capture event transitions across audio and video. Second, OMCAT (Omni Context Aware Transformer) is a powerful model that leverages RoTE (Rotary Time Embeddings), an innovative extension of RoPE, to enhance temporal grounding and computational efficiency in time-anchored tasks. Through a robust three-stage training pipeline-feature alignment, instruction tuning, and OCTAV-specific training-OMCAT excels in cross-modal temporal understanding. Our model demonstrates state-of-the-art performance on Audio-Visual Question Answering (AVQA) tasks and the OCTAV benchmark, showcasing significant gains in temporal reasoning and cross-modal alignment, as validated through comprehensive experiments and ablation studies. Our dataset and code will be made publicly available. The link to our demo page is https://om-cat.github.io.