PATS: Muestreo Temporal Consciente de la Competencia para la Evaluación de Habilidades Deportivas en Múltiples Vistas

PATS: Proficiency-Aware Temporal Sampling for Multi-View Sports Skill Assessment

June 5, 2025

Autores: Edoardo Bianchi, Antonio Liotta

cs.AI

Resumen

La evaluación automatizada de habilidades deportivas requiere capturar patrones fundamentales de movimiento que distingan el desempeño experto del novato; sin embargo, los métodos actuales de muestreo de video interrumpen la continuidad temporal esencial para la evaluación de la competencia. Con este fin, presentamos el Muestreo Temporal Consciente de la Competencia (PATS, por sus siglas en inglés), una estrategia de muestreo novedosa que preserva movimientos fundamentales completos dentro de segmentos temporales continuos para la evaluación de habilidades en múltiples vistas. PATS segmenta los videos de manera adaptativa para garantizar que cada porción analizada contenga la ejecución completa de componentes críticos del desempeño, repitiendo este proceso en múltiples segmentos para maximizar la cobertura de información mientras se mantiene la coherencia temporal. Evaluado en el benchmark EgoExo4D con SkillFormer, PATS supera la precisión del estado del arte en todas las configuraciones de visualización (+0.65% a +3.05%) y ofrece mejoras sustanciales en dominios desafiantes (+26.22% en boulder, +2.39% en música, +1.13% en baloncesto). Un análisis sistemático revela que PATS se adapta con éxito a diversas características de actividad, desde el muestreo de alta frecuencia para deportes dinámicos hasta la segmentación detallada para habilidades secuenciales, demostrando su eficacia como un enfoque adaptativo al muestreo temporal que avanza en la evaluación automatizada de habilidades para aplicaciones del mundo real.

English

Automated sports skill assessment requires capturing fundamental movement patterns that distinguish expert from novice performance, yet current video sampling methods disrupt the temporal continuity essential for proficiency evaluation. To this end, we introduce Proficiency-Aware Temporal Sampling (PATS), a novel sampling strategy that preserves complete fundamental movements within continuous temporal segments for multi-view skill assessment. PATS adaptively segments videos to ensure each analyzed portion contains full execution of critical performance components, repeating this process across multiple segments to maximize information coverage while maintaining temporal coherence. Evaluated on the EgoExo4D benchmark with SkillFormer, PATS surpasses the state-of-the-art accuracy across all viewing configurations (+0.65% to +3.05%) and delivers substantial gains in challenging domains (+26.22% bouldering, +2.39% music, +1.13% basketball). Systematic analysis reveals that PATS successfully adapts to diverse activity characteristics-from high-frequency sampling for dynamic sports to fine-grained segmentation for sequential skills-demonstrating its effectiveness as an adaptive approach to temporal sampling that advances automated skill assessment for real-world applications.