Video-Skill-CoT: Цепочка рассуждений на основе навыков для адаптивного к домену анализа видео

Video-Skill-CoT: Skill-based Chain-of-Thoughts for Domain-Adaptive Video Reasoning

June 4, 2025

Авторы: Daeun Lee, Jaehong Yoon, Jaemin Cho, Mohit Bansal

cs.AI

Аннотация

Недавние достижения в области цепочечного рассуждения (Chain-of-Thought, CoT) улучшили понимание сложных видеоматериалов, однако существующие методы часто испытывают трудности с адаптацией к доменно-специфическим навыкам (например, обнаружение событий, понимание пространственных отношений, распознавание эмоций) в различных типах видео. Для решения этой проблемы мы предлагаем Video-Skill-CoT (также известный как Video-SKoT) — фреймворк, который автоматически создает и использует CoT-обучение, учитывающее навыки, для адаптивного видеорешения. Во-первых, мы создаем аннотации CoT на основе навыков: извлекаем доменно-релевантные навыки рассуждения из обучающих вопросов, группируем их в общую таксономию навыков и формируем детальные многошаговые обоснования CoT, адаптированные для каждой пары видео-вопрос для обучения. Во-вторых, мы представляем фреймворк экспертного обучения, ориентированного на навыки. Каждый модуль эксперта специализируется на подмножестве навыков рассуждения и обучается с использованием легковесных адаптеров на основе собранных CoT-аннотаций. Мы демонстрируем эффективность предложенного подхода на трех бенчмарках для понимания видео, где Video-SKoT стабильно превосходит сильные базовые методы. Также мы проводим углубленный анализ, сравнивая различные подходы к созданию CoT-аннотаций и изученные навыки в нескольких видеодоменах.

English

Recent advances in Chain-of-Thought (CoT) reasoning have improved complex video understanding, but existing methods often struggle to adapt to domain-specific skills (e.g., event detection, spatial relation understanding, emotion understanding) over various video content. To address this, we propose Video-Skill-CoT (a.k.a. Video-SKoT), a framework that automatically constructs and leverages skill-aware CoT supervisions for domain-adaptive video reasoning. First, we construct skill-based CoT annotations: we extract domain-relevant reasoning skills from training questions, cluster them into a shared skill taxonomy, and create detailed multi-step CoT rationale tailored to each video-question pair for training. Second, we introduce a skill-specific expert learning framework. Each expert module specializes in a subset of reasoning skills and is trained with lightweight adapters using the collected CoT supervision. We demonstrate the effectiveness of the proposed approach on three video understanding benchmarks, where Video-SKoT consistently outperforms strong baselines. We also provide in-depth analyses on comparing different CoT annotation pipelines and learned skills over multiple video domains.