ビデオ-SALMONN-o1: 推論強化オーディオビジュアル大規模言語モデル

video-SALMONN-o1: Reasoning-enhanced Audio-visual Large Language Model

February 17, 2025

著者: Guangzhi Sun, Yudong Yang, Jimin Zhuang, Changli Tang, Yixuan Li, Wei Li, Zejun MA, Chao Zhang

cs.AI

要旨

最近の推論最適化の進歩により、大規模言語モデル（LLM）の能力が大幅に向上していますが、推論の改善に関する既存の取り組みは、数学問題の解決に限定され、視覚的なグラフィカル入力に焦点を当てることが一般的なビデオ理解において無視されてきました。本論文では、一般的なビデオ理解タスク向けに設計された最初のオープンソースの推論強化オーディオビジュアルLLMであるvideo-SALMONN-o1を提案します。推論能力を向上させるために、ステップバイステップの解決策を持つ難解なオーディオビジュアル質問を特徴とする推論集中型のデータセットを開発します。また、マルチモーダル入力に適した効率的なステップレベルの報酬モデリングを実現するために、プロセスダイレクトプリファレンス最適化（pDPO）を提案します。さらに、スタンドアップコメディ、学術プレゼンテーション、合成ビデオ検出などのシナリオ全体で4,000以上の高品質で専門家がキュレーションした質問と回答のペアを特集する、最初の推論集中型ビデオ理解ベンチマークであるRivaBenchを紹介します。video-SALMONN-o1は、異なるビデオ推論ベンチマーク全体で、LLaVA-OneVisionベースラインに対して3〜8%の精度向上を達成します。さらに、pDPOは、RivaBench上の教師ありファインチューニングモデルに比べて6〜8%の改善を達成します。推論の強化により、video-SALMONN-o1はゼロショット合成ビデオ検出機能を実現します。

English

While recent advancements in reasoning optimization have significantly enhanced the capabilities of large language models (LLMs), existing efforts to improve reasoning have been limited to solving mathematical problems and focusing on visual graphical inputs, neglecting broader applications in general video understanding.This paper proposes video-SALMONN-o1, the first open-source reasoning-enhanced audio-visual LLM designed for general video understanding tasks. To enhance its reasoning abilities, we develop a reasoning-intensive dataset featuring challenging audio-visual questions with step-by-step solutions. We also propose process direct preference optimization (pDPO), which leverages contrastive step selection to achieve efficient step-level reward modelling tailored for multimodal inputs. Additionally, we introduce RivaBench, the first reasoning-intensive video understanding benchmark, featuring over 4,000 high-quality, expert-curated question-answer pairs across scenarios such as standup comedy, academic presentations, and synthetic video detection. video-SALMONN-o1 achieves 3-8% accuracy improvements over the LLaVA-OneVision baseline across different video reasoning benchmarks. Besides, pDPO achieves 6-8% improvements compared to the supervised fine-tuning model on RivaBench. Enhanced reasoning enables video-SALMONN-o1 zero-shot synthetic video detection capabilities.