PATS: 다중 시점 스포츠 기술 평가를 위한 숙련도 인지 시간 샘플링

PATS: Proficiency-Aware Temporal Sampling for Multi-View Sports Skill Assessment

June 5, 2025

저자: Edoardo Bianchi, Antonio Liotta

cs.AI

초록

자동화된 스포츠 기술 평가는 전문가와 초보자의 수행을 구별하는 기본적인 동작 패턴을 포착해야 하지만, 현재의 비디오 샘플링 방법은 숙련도 평가에 필수적인 시간적 연속성을 방해한다. 이를 위해 우리는 Proficiency-Aware Temporal Sampling(PATS)을 소개한다. PATS는 다중 시점 기술 평가를 위해 연속적인 시간 세그먼트 내에서 완전한 기본 동작을 보존하는 새로운 샘플링 전략이다. PATS는 비디오를 적응적으로 세그먼트화하여 분석된 각 부분이 중요한 수행 요소의 완전한 실행을 포함하도록 보장하며, 이 과정을 여러 세그먼트에 걸쳐 반복하여 정보 커버리지를 극대화하면서 시간적 일관성을 유지한다. EgoExo4D 벤치마크에서 SkillFormer와 함께 평가된 PATS는 모든 시점 구성에서 최신 정확도를 능가하며(+0.65%에서 +3.05%), 도전적인 영역에서 상당한 성과를 거두었다(+26.22% 볼더링, +2.39% 음악, +1.13% 농구). 체계적인 분석은 PATS가 동적 스포츠를 위한 고주파 샘플링에서 순차적 기술을 위한 세밀한 세그먼트화에 이르기까지 다양한 활동 특성에 성공적으로 적응함을 보여주며, 이는 실세계 응용을 위한 자동화된 기술 평가를 발전시키는 적응형 시간 샘플링 접근법으로서의 효과를 입증한다.

English

Automated sports skill assessment requires capturing fundamental movement patterns that distinguish expert from novice performance, yet current video sampling methods disrupt the temporal continuity essential for proficiency evaluation. To this end, we introduce Proficiency-Aware Temporal Sampling (PATS), a novel sampling strategy that preserves complete fundamental movements within continuous temporal segments for multi-view skill assessment. PATS adaptively segments videos to ensure each analyzed portion contains full execution of critical performance components, repeating this process across multiple segments to maximize information coverage while maintaining temporal coherence. Evaluated on the EgoExo4D benchmark with SkillFormer, PATS surpasses the state-of-the-art accuracy across all viewing configurations (+0.65% to +3.05%) and delivers substantial gains in challenging domains (+26.22% bouldering, +2.39% music, +1.13% basketball). Systematic analysis reveals that PATS successfully adapts to diverse activity characteristics-from high-frequency sampling for dynamic sports to fine-grained segmentation for sequential skills-demonstrating its effectiveness as an adaptive approach to temporal sampling that advances automated skill assessment for real-world applications.