video-SALMONN-o1: Modelo de Linguagem de Grande Escala Áudio-Visual Aprimorado com Raciocínio

video-SALMONN-o1: Reasoning-enhanced Audio-visual Large Language Model

February 17, 2025

Autores: Guangzhi Sun, Yudong Yang, Jimin Zhuang, Changli Tang, Yixuan Li, Wei Li, Zejun MA, Chao Zhang

cs.AI

Resumo

Embora os avanços recentes na otimização de raciocínio tenham aprimorado significativamente as capacidades dos grandes modelos de linguagem (LLMs, na sigla em inglês), os esforços existentes para melhorar o raciocínio têm se limitado a resolver problemas matemáticos e a focar em entradas visuais gráficas, negligenciando aplicações mais amplas na compreensão geral de vídeos. Este artigo propõe o video-SALMONN-o1, o primeiro LLM de áudio-visual aprimorado para raciocínio e de código aberto, projetado para tarefas de compreensão geral de vídeos. Para aprimorar suas habilidades de raciocínio, desenvolvemos um conjunto de dados intensivo em raciocínio, apresentando questões desafiadoras de áudio-visual com soluções passo a passo. Também propomos a otimização direta de preferência de processo (pDPO, na sigla em inglês), que utiliza a seleção contrastiva de passos para alcançar uma modelagem eficiente de recompensas em nível de passo, adaptada para entradas multimodais. Além disso, introduzimos o RivaBench, o primeiro benchmark de compreensão de vídeos intensivo em raciocínio, contendo mais de 4.000 pares de perguntas e respostas de alta qualidade, curados por especialistas, em cenários como comédia stand-up, apresentações acadêmicas e detecção de vídeos sintéticos. O video-SALMONN-o1 alcança melhorias de 3-8% em precisão em relação à linha de base LLaVA-OneVision em diferentes benchmarks de raciocínio em vídeo. Além disso, o pDPO obtém melhorias de 6-8% em comparação com o modelo de ajuste fino supervisionado no RivaBench. O raciocínio aprimorado permite que o video-SALMONN-o1 tenha capacidades de detecção zero-shot de vídeos sintéticos.

English

While recent advancements in reasoning optimization have significantly enhanced the capabilities of large language models (LLMs), existing efforts to improve reasoning have been limited to solving mathematical problems and focusing on visual graphical inputs, neglecting broader applications in general video understanding.This paper proposes video-SALMONN-o1, the first open-source reasoning-enhanced audio-visual LLM designed for general video understanding tasks. To enhance its reasoning abilities, we develop a reasoning-intensive dataset featuring challenging audio-visual questions with step-by-step solutions. We also propose process direct preference optimization (pDPO), which leverages contrastive step selection to achieve efficient step-level reward modelling tailored for multimodal inputs. Additionally, we introduce RivaBench, the first reasoning-intensive video understanding benchmark, featuring over 4,000 high-quality, expert-curated question-answer pairs across scenarios such as standup comedy, academic presentations, and synthetic video detection. video-SALMONN-o1 achieves 3-8% accuracy improvements over the LLaVA-OneVision baseline across different video reasoning benchmarks. Besides, pDPO achieves 6-8% improvements compared to the supervised fine-tuning model on RivaBench. Enhanced reasoning enables video-SALMONN-o1 zero-shot synthetic video detection capabilities.