SkillFormer: Compreensão Unificada de Vídeos Multi-View para Estimativa de Proficiência

SkillFormer: Unified Multi-View Video Understanding for Proficiency Estimation

May 13, 2025

Autores: Edoardo Bianchi, Antonio Liotta

cs.AI

Resumo

Avaliar níveis de habilidade humana em atividades complexas é um problema desafiador com aplicações em esportes, reabilitação e treinamento. Neste trabalho, apresentamos o SkillFormer, uma arquitetura eficiente em parâmetros para estimativa unificada de proficiência em múltiplas perspectivas a partir de vídeos egocêntricos e exocêntricos. Baseando-se na estrutura do TimeSformer, o SkillFormer introduz um módulo CrossViewFusion que funde características específicas de cada perspectiva usando atenção cruzada multi-cabeça, portas aprendíveis e auto-calibração adaptativa. Aproveitamos a Adaptação de Baixa Classificação (Low-Rank Adaptation) para ajustar apenas um pequeno subconjunto de parâmetros, reduzindo significativamente os custos de treinamento. De fato, quando avaliado no conjunto de dados EgoExo4D, o SkillFormer alcança precisão de ponta em configurações de múltiplas perspectivas, demonstrando notável eficiência computacional, utilizando 4,5 vezes menos parâmetros e exigindo 3,75 vezes menos épocas de treinamento do que os baselines anteriores. Ele se destaca em múltiplas tarefas estruturadas, confirmando o valor da integração de múltiplas perspectivas para avaliação refinada de habilidades.

English

Assessing human skill levels in complex activities is a challenging problem with applications in sports, rehabilitation, and training. In this work, we present SkillFormer, a parameter-efficient architecture for unified multi-view proficiency estimation from egocentric and exocentric videos. Building on the TimeSformer backbone, SkillFormer introduces a CrossViewFusion module that fuses view-specific features using multi-head cross-attention, learnable gating, and adaptive self-calibration. We leverage Low-Rank Adaptation to fine-tune only a small subset of parameters, significantly reducing training costs. In fact, when evaluated on the EgoExo4D dataset, SkillFormer achieves state-of-the-art accuracy in multi-view settings while demonstrating remarkable computational efficiency, using 4.5x fewer parameters and requiring 3.75x fewer training epochs than prior baselines. It excels in multiple structured tasks, confirming the value of multi-view integration for fine-grained skill assessment.