PATS: Amostragem Temporal com Consciência de Proficiência para Avaliação de Habilidades Esportivas em Múltiplas Perspectivas

PATS: Proficiency-Aware Temporal Sampling for Multi-View Sports Skill Assessment

June 5, 2025

Autores: Edoardo Bianchi, Antonio Liotta

cs.AI

Resumo

A avaliação automatizada de habilidades esportivas requer a captura de padrões fundamentais de movimento que distinguem o desempenho de especialistas de iniciantes, mas os métodos atuais de amostragem de vídeo interrompem a continuidade temporal essencial para a avaliação de proficiência. Para isso, introduzimos o *Proficiency-Aware Temporal Sampling* (PATS), uma nova estratégia de amostragem que preserva movimentos fundamentais completos dentro de segmentos temporais contínuos para avaliação de habilidades em múltiplas perspectivas. O PATS segmenta vídeos de forma adaptativa para garantir que cada porção analisada contenha a execução completa de componentes críticos de desempenho, repetindo esse processo em vários segmentos para maximizar a cobertura de informações enquanto mantém a coerência temporal. Avaliado no benchmark EgoExo4D com o SkillFormer, o PATS supera a precisão do estado da arte em todas as configurações de visualização (+0,65% a +3,05%) e oferece ganhos substanciais em domínios desafiadores (+26,22% em escalada, +2,39% em música, +1,13% em basquete). Análises sistemáticas revelam que o PATS se adapta com sucesso a diversas características de atividades—desde amostragem de alta frequência para esportes dinâmicos até segmentação refinada para habilidades sequenciais—demonstrando sua eficácia como uma abordagem adaptativa para amostragem temporal que avança a avaliação automatizada de habilidades para aplicações do mundo real.

English

Automated sports skill assessment requires capturing fundamental movement patterns that distinguish expert from novice performance, yet current video sampling methods disrupt the temporal continuity essential for proficiency evaluation. To this end, we introduce Proficiency-Aware Temporal Sampling (PATS), a novel sampling strategy that preserves complete fundamental movements within continuous temporal segments for multi-view skill assessment. PATS adaptively segments videos to ensure each analyzed portion contains full execution of critical performance components, repeating this process across multiple segments to maximize information coverage while maintaining temporal coherence. Evaluated on the EgoExo4D benchmark with SkillFormer, PATS surpasses the state-of-the-art accuracy across all viewing configurations (+0.65% to +3.05%) and delivers substantial gains in challenging domains (+26.22% bouldering, +2.39% music, +1.13% basketball). Systematic analysis reveals that PATS successfully adapts to diverse activity characteristics-from high-frequency sampling for dynamic sports to fine-grained segmentation for sequential skills-demonstrating its effectiveness as an adaptive approach to temporal sampling that advances automated skill assessment for real-world applications.