Video-Skill-CoT: Catena di Pensieri Basata su Competenze per il Ragionamento Video Adattivo al Dominio

Video-Skill-CoT: Skill-based Chain-of-Thoughts for Domain-Adaptive Video Reasoning

June 4, 2025

Autori: Daeun Lee, Jaehong Yoon, Jaemin Cho, Mohit Bansal

cs.AI

Abstract

I recenti progressi nel ragionamento a catena di pensiero (Chain-of-Thought, CoT) hanno migliorato la comprensione complessa dei video, ma i metodi esistenti spesso faticano ad adattarsi a competenze specifiche del dominio (ad esempio, rilevamento di eventi, comprensione delle relazioni spaziali, comprensione delle emozioni) su vari contenuti video. Per affrontare questo problema, proponiamo Video-Skill-CoT (noto anche come Video-SKoT), un framework che costruisce e sfrutta automaticamente supervisioni CoT consapevoli delle competenze per il ragionamento video adattivo al dominio. In primo luogo, costruiamo annotazioni CoT basate sulle competenze: estraiamo abilità di ragionamento rilevanti per il dominio dalle domande di addestramento, le raggruppiamo in una tassonomia condivisa delle competenze e creiamo una razionalità CoT dettagliata in più passaggi, personalizzata per ogni coppia video-domanda, per l'addestramento. In secondo luogo, introduciamo un framework di apprendimento esperto specifico per le competenze. Ogni modulo esperto si specializza in un sottoinsieme di abilità di ragionamento e viene addestrato con adattatori leggeri utilizzando la supervisione CoT raccolta. Dimostriamo l'efficacia dell'approccio proposto su tre benchmark di comprensione video, dove Video-SKoT supera costantemente i baseline forti. Forniamo inoltre analisi approfondite sul confronto tra diverse pipeline di annotazione CoT e le competenze apprese su più domini video.

English

Recent advances in Chain-of-Thought (CoT) reasoning have improved complex video understanding, but existing methods often struggle to adapt to domain-specific skills (e.g., event detection, spatial relation understanding, emotion understanding) over various video content. To address this, we propose Video-Skill-CoT (a.k.a. Video-SKoT), a framework that automatically constructs and leverages skill-aware CoT supervisions for domain-adaptive video reasoning. First, we construct skill-based CoT annotations: we extract domain-relevant reasoning skills from training questions, cluster them into a shared skill taxonomy, and create detailed multi-step CoT rationale tailored to each video-question pair for training. Second, we introduce a skill-specific expert learning framework. Each expert module specializes in a subset of reasoning skills and is trained with lightweight adapters using the collected CoT supervision. We demonstrate the effectiveness of the proposed approach on three video understanding benchmarks, where Video-SKoT consistently outperforms strong baselines. We also provide in-depth analyses on comparing different CoT annotation pipelines and learned skills over multiple video domains.