PATS: 多視点スポーツ技能評価のための熟練度認識型時間サンプリング
PATS: Proficiency-Aware Temporal Sampling for Multi-View Sports Skill Assessment
June 5, 2025
著者: Edoardo Bianchi, Antonio Liotta
cs.AI
要旨
自動化されたスポーツスキル評価には、熟練者と初心者のパフォーマンスを区別する基本的な動作パターンを捉えることが必要であるが、現在のビデオサンプリング手法は、熟練度評価に不可欠な時間的連続性を妨げている。この目的のために、我々はProficiency-Aware Temporal Sampling(PATS)を導入する。これは、多視点スキル評価のために、連続した時間セグメント内で完全な基本動作を保持する新しいサンプリング戦略である。PATSは、ビデオを適応的にセグメント化し、分析される各部分が重要なパフォーマンス要素の完全な実行を含むようにし、このプロセスを複数のセグメントで繰り返すことで、情報のカバレッジを最大化しつつ時間的整合性を維持する。EgoExo4DベンチマークでSkillFormerを用いて評価した結果、PATSは全ての視点設定において最先端の精度を上回り(+0.65%から+3.05%)、困難な領域でも大幅な向上を示した(+26.22% ボルダリング、+2.39% 音楽、+1.13% バスケットボール)。体系的な分析により、PATSが動的なスポーツのための高頻度サンプリングから、逐次的なスキルのための細かいセグメンテーションまで、多様な活動特性に適応できることが明らかとなり、現実世界のアプリケーションにおける自動化されたスキル評価を進化させる適応的な時間サンプリング手法としての有効性が示された。
English
Automated sports skill assessment requires capturing fundamental movement
patterns that distinguish expert from novice performance, yet current video
sampling methods disrupt the temporal continuity essential for proficiency
evaluation. To this end, we introduce Proficiency-Aware Temporal Sampling
(PATS), a novel sampling strategy that preserves complete fundamental movements
within continuous temporal segments for multi-view skill assessment. PATS
adaptively segments videos to ensure each analyzed portion contains full
execution of critical performance components, repeating this process across
multiple segments to maximize information coverage while maintaining temporal
coherence. Evaluated on the EgoExo4D benchmark with SkillFormer, PATS surpasses
the state-of-the-art accuracy across all viewing configurations (+0.65% to
+3.05%) and delivers substantial gains in challenging domains (+26.22%
bouldering, +2.39% music, +1.13% basketball). Systematic analysis reveals that
PATS successfully adapts to diverse activity characteristics-from
high-frequency sampling for dynamic sports to fine-grained segmentation for
sequential skills-demonstrating its effectiveness as an adaptive approach to
temporal sampling that advances automated skill assessment for real-world
applications.