SkillFormer: Унифицированное понимание многоканального видео для оценки уровня навыков

SkillFormer: Unified Multi-View Video Understanding for Proficiency Estimation

May 13, 2025

Авторы: Edoardo Bianchi, Antonio Liotta

cs.AI

Аннотация

Оценка уровня навыков человека в сложных видах деятельности является сложной задачей, имеющей применение в спорте, реабилитации и обучении. В данной работе мы представляем SkillFormer — параметрически эффективную архитектуру для унифицированной оценки мастерства на основе мульти-видео, включая эгоцентрические и экзоцентрические записи. Основанная на базе TimeSformer, SkillFormer вводит модуль CrossViewFusion, который объединяет специфичные для каждого ракурса признаки с использованием многоголового кросс-внимания, обучаемых ворот и адаптивной самокалибровки. Мы используем Low-Rank Adaptation для тонкой настройки только небольшого подмножества параметров, что значительно снижает затраты на обучение. Фактически, при оценке на наборе данных EgoExo4D SkillFormer достигает наивысшей точности в мульти-видео настройках, демонстрируя при этом замечательную вычислительную эффективность, используя в 4,5 раза меньше параметров и требуя в 3,75 раза меньше эпох обучения по сравнению с предыдущими базовыми моделями. Он превосходит в выполнении множества структурированных задач, подтверждая ценность интеграции мульти-видео для детальной оценки навыков.

English

Assessing human skill levels in complex activities is a challenging problem with applications in sports, rehabilitation, and training. In this work, we present SkillFormer, a parameter-efficient architecture for unified multi-view proficiency estimation from egocentric and exocentric videos. Building on the TimeSformer backbone, SkillFormer introduces a CrossViewFusion module that fuses view-specific features using multi-head cross-attention, learnable gating, and adaptive self-calibration. We leverage Low-Rank Adaptation to fine-tune only a small subset of parameters, significantly reducing training costs. In fact, when evaluated on the EgoExo4D dataset, SkillFormer achieves state-of-the-art accuracy in multi-view settings while demonstrating remarkable computational efficiency, using 4.5x fewer parameters and requiring 3.75x fewer training epochs than prior baselines. It excels in multiple structured tasks, confirming the value of multi-view integration for fine-grained skill assessment.