PATS: Bekwaamheidsbewust Temporeel Bemonsteren voor Multi-View Vaardigheidsbeoordeling in Sport

PATS: Proficiency-Aware Temporal Sampling for Multi-View Sports Skill Assessment

June 5, 2025

Auteurs: Edoardo Bianchi, Antonio Liotta

cs.AI

Samenvatting

Geautomatiseerde beoordeling van sportvaardigheden vereist het vastleggen van fundamentele bewegingspatronen die experts van beginners onderscheiden, maar huidige video-bemonsteringsmethoden verstoren de temporele continuïteit die essentieel is voor vaardigheidsbeoordeling. Daarom introduceren we Proficiency-Aware Temporal Sampling (PATS), een nieuwe bemonsteringsstrategie die complete fundamentele bewegingen binnen doorlopende temporele segmenten behoudt voor multi-view vaardigheidsbeoordeling. PATS segmentert video's adaptief om ervoor te zorgen dat elk geanalyseerd deel de volledige uitvoering van kritieke prestatiecomponenten bevat, en herhaalt dit proces over meerdere segmenten om de informatie-dekking te maximaliseren terwijl temporele samenhang behouden blijft. Geëvalueerd op de EgoExo4D-benchmark met SkillFormer, overtreft PATS de state-of-the-art nauwkeurigheid in alle bekijkingsconfiguraties (+0,65% tot +3,05%) en levert het aanzienlijke verbeteringen op in uitdagende domeinen (+26,22% boulderen, +2,39% muziek, +1,13% basketbal). Systematische analyse toont aan dat PATS zich succesvol aanpast aan diverse activiteitskenmerken – van hoogfrequente bemonstering voor dynamische sporten tot fijnmazige segmentatie voor sequentiële vaardigheden – wat de effectiviteit aantoont als een adaptieve benadering van temporele bemonstering die geautomatiseerde vaardigheidsbeoordeling voor real-world toepassingen vooruithelpt.

English

Automated sports skill assessment requires capturing fundamental movement patterns that distinguish expert from novice performance, yet current video sampling methods disrupt the temporal continuity essential for proficiency evaluation. To this end, we introduce Proficiency-Aware Temporal Sampling (PATS), a novel sampling strategy that preserves complete fundamental movements within continuous temporal segments for multi-view skill assessment. PATS adaptively segments videos to ensure each analyzed portion contains full execution of critical performance components, repeating this process across multiple segments to maximize information coverage while maintaining temporal coherence. Evaluated on the EgoExo4D benchmark with SkillFormer, PATS surpasses the state-of-the-art accuracy across all viewing configurations (+0.65% to +3.05%) and delivers substantial gains in challenging domains (+26.22% bouldering, +2.39% music, +1.13% basketball). Systematic analysis reveals that PATS successfully adapts to diverse activity characteristics-from high-frequency sampling for dynamic sports to fine-grained segmentation for sequential skills-demonstrating its effectiveness as an adaptive approach to temporal sampling that advances automated skill assessment for real-world applications.