SkillFormer: Comprensión Unificada de Videos Multi-Vista para la Estimación de Competencias

SkillFormer: Unified Multi-View Video Understanding for Proficiency Estimation

May 13, 2025

Autores: Edoardo Bianchi, Antonio Liotta

cs.AI

Resumen

Evaluar los niveles de habilidad humana en actividades complejas es un problema desafiante con aplicaciones en deportes, rehabilitación y entrenamiento. En este trabajo, presentamos SkillFormer, una arquitectura eficiente en parámetros para la estimación unificada de competencias multi-vista a partir de videos egocéntricos y exocéntricos. Basado en la estructura de TimeSformer, SkillFormer introduce un módulo de CrossViewFusion que fusiona características específicas de cada vista utilizando atención cruzada multi-cabeza, compuertas aprendibles y auto-calibración adaptativa. Aprovechamos la Adaptación de Bajo Rango (Low-Rank Adaptation) para ajustar solo un pequeño subconjunto de parámetros, reduciendo significativamente los costos de entrenamiento. De hecho, al evaluar en el conjunto de datos EgoExo4D, SkillFormer alcanza una precisión de vanguardia en configuraciones multi-vista, demostrando una notable eficiencia computacional, utilizando 4.5 veces menos parámetros y requiriendo 3.75 veces menos épocas de entrenamiento que los baselines anteriores. Destaca en múltiples tareas estructuradas, confirmando el valor de la integración multi-vista para la evaluación detallada de habilidades.

English

Assessing human skill levels in complex activities is a challenging problem with applications in sports, rehabilitation, and training. In this work, we present SkillFormer, a parameter-efficient architecture for unified multi-view proficiency estimation from egocentric and exocentric videos. Building on the TimeSformer backbone, SkillFormer introduces a CrossViewFusion module that fuses view-specific features using multi-head cross-attention, learnable gating, and adaptive self-calibration. We leverage Low-Rank Adaptation to fine-tune only a small subset of parameters, significantly reducing training costs. In fact, when evaluated on the EgoExo4D dataset, SkillFormer achieves state-of-the-art accuracy in multi-view settings while demonstrating remarkable computational efficiency, using 4.5x fewer parameters and requiring 3.75x fewer training epochs than prior baselines. It excels in multiple structured tasks, confirming the value of multi-view integration for fine-grained skill assessment.