SkillFormer : Compréhension unifiée des vidéos multi-vues pour l'estimation des compétences

SkillFormer: Unified Multi-View Video Understanding for Proficiency Estimation

May 13, 2025

Auteurs: Edoardo Bianchi, Antonio Liotta

cs.AI

Résumé

Évaluer les niveaux de compétence humaine dans des activités complexes constitue un problème difficile avec des applications dans le sport, la rééducation et la formation. Dans ce travail, nous présentons SkillFormer, une architecture paramétriquement efficace pour l'estimation unifiée de la maîtrise multi-vues à partir de vidéos égocentriques et exocentriques. S'appuyant sur l'architecture TimeSformer, SkillFormer introduit un module CrossViewFusion qui fusionne les caractéristiques spécifiques à chaque vue en utilisant une attention croisée multi-têtes, un mécanisme de gating apprenable et une auto-calibration adaptative. Nous exploitons l'Adaptation à Faible Rang pour affiner uniquement un petit sous-ensemble de paramètres, réduisant ainsi considérablement les coûts d'entraînement. En effet, lorsqu'il est évalué sur le jeu de données EgoExo4D, SkillFormer atteint une précision de pointe dans des configurations multi-vues tout en démontrant une efficacité computationnelle remarquable, utilisant 4,5 fois moins de paramètres et nécessitant 3,75 fois moins d'époques d'entraînement que les approches précédentes. Il excelle dans plusieurs tâches structurées, confirmant la valeur de l'intégration multi-vues pour l'évaluation fine des compétences.

English

Assessing human skill levels in complex activities is a challenging problem with applications in sports, rehabilitation, and training. In this work, we present SkillFormer, a parameter-efficient architecture for unified multi-view proficiency estimation from egocentric and exocentric videos. Building on the TimeSformer backbone, SkillFormer introduces a CrossViewFusion module that fuses view-specific features using multi-head cross-attention, learnable gating, and adaptive self-calibration. We leverage Low-Rank Adaptation to fine-tune only a small subset of parameters, significantly reducing training costs. In fact, when evaluated on the EgoExo4D dataset, SkillFormer achieves state-of-the-art accuracy in multi-view settings while demonstrating remarkable computational efficiency, using 4.5x fewer parameters and requiring 3.75x fewer training epochs than prior baselines. It excels in multiple structured tasks, confirming the value of multi-view integration for fine-grained skill assessment.