PATS: 多視点スポーツ技能評価のための熟練度認識型時間サンプリング

PATS: Proficiency-Aware Temporal Sampling for Multi-View Sports Skill Assessment

June 5, 2025

著者: Edoardo Bianchi, Antonio Liotta

cs.AI

要旨

自動化されたスポーツスキル評価には、熟練者と初心者のパフォーマンスを区別する基本的な動作パターンを捉えることが必要であるが、現在のビデオサンプリング手法は、熟練度評価に不可欠な時間的連続性を妨げている。この目的のために、我々はProficiency-Aware Temporal Sampling（PATS）を導入する。これは、多視点スキル評価のために、連続した時間セグメント内で完全な基本動作を保持する新しいサンプリング戦略である。PATSは、ビデオを適応的にセグメント化し、分析される各部分が重要なパフォーマンス要素の完全な実行を含むようにし、このプロセスを複数のセグメントで繰り返すことで、情報のカバレッジを最大化しつつ時間的整合性を維持する。EgoExo4DベンチマークでSkillFormerを用いて評価した結果、PATSは全ての視点設定において最先端の精度を上回り（+0.65%から+3.05%）、困難な領域でも大幅な向上を示した（+26.22% ボルダリング、+2.39% 音楽、+1.13% バスケットボール）。体系的な分析により、PATSが動的なスポーツのための高頻度サンプリングから、逐次的なスキルのための細かいセグメンテーションまで、多様な活動特性に適応できることが明らかとなり、現実世界のアプリケーションにおける自動化されたスキル評価を進化させる適応的な時間サンプリング手法としての有効性が示された。

English

Automated sports skill assessment requires capturing fundamental movement patterns that distinguish expert from novice performance, yet current video sampling methods disrupt the temporal continuity essential for proficiency evaluation. To this end, we introduce Proficiency-Aware Temporal Sampling (PATS), a novel sampling strategy that preserves complete fundamental movements within continuous temporal segments for multi-view skill assessment. PATS adaptively segments videos to ensure each analyzed portion contains full execution of critical performance components, repeating this process across multiple segments to maximize information coverage while maintaining temporal coherence. Evaluated on the EgoExo4D benchmark with SkillFormer, PATS surpasses the state-of-the-art accuracy across all viewing configurations (+0.65% to +3.05%) and delivers substantial gains in challenging domains (+26.22% bouldering, +2.39% music, +1.13% basketball). Systematic analysis reveals that PATS successfully adapts to diverse activity characteristics-from high-frequency sampling for dynamic sports to fine-grained segmentation for sequential skills-demonstrating its effectiveness as an adaptive approach to temporal sampling that advances automated skill assessment for real-world applications.