왜 내 서랍을 열 수 없을까? 제로샷 구성적 행동 인식에서 객체 기반 지름길 완화

초록

제로샷 구성적 행동 인식(ZS-CAR)은 이전에 관찰된 기본 요소들로 구성된 새로운 동사-목적어 조합을 인식해야 한다. 본 연구에서는 주요 실패 모드를 해결한다: 모델이 시간적 증거보다는 객체 기반 지름길(즉, 레이블된 객체 클래스에 의존)을 통해 동사를 예측하는 것이다. 희소한 구성적 지도와 동사-객체 학습 비대칭성이 객체 기반 지름길 학습을 촉진할 수 있다고 주장한다. 제안된 진단 메트릭을 사용한 분석은 기존 방법들이 훈련 공동발생 패턴에 과적합하고 시간적 동사 신호를 충분히 활용하지 못하여, 보이지 않는 구성에 대한 일반화가 약함을 보여준다. 객체 기반 지름길을 해결하기 위해, 두 가지 구성 요소를 가진 RCORE(Robust Compositional Representations)를 제안한다. 공동발생 사전 정규화(CPR)는 보이지 않는 구성에 대한 명시적 지도를 추가하고, 빈번한 공동발생 사전을 하드 네거티브로 처리하여 이에 대해 모델을 정규화한다. 구성에 대한 시간적 순서 정규화(TORC)는 시간적 순서 민감성을 강제하여 시간적으로 근거한 동사 표현을 학습한다. Sth-com과 EK100-com 데이터셋에서 RCORE는 지름길 진단을 줄이고 결과적으로 구성적 일반화를 향상시킨다.

English

Zero-Shot Compositional Action Recognition (ZS-CAR) requires recognizing novel verb-object combinations composed of previously observed primitives. In this work, we tackle a key failure mode: models predict verbs via object-driven shortcuts (i.e., relying on the labeled object class) rather than temporal evidence. We argue that sparse compositional supervision and verb-object learning asymmetry can promote object-driven shortcut learning. Our analysis with proposed diagnostic metrics shows that existing methods overfit to training co-occurrence patterns and underuse temporal verb cues, resulting in weak generalization to unseen compositions. To address object-driven shortcuts, we propose Robust COmpositional REpresentations (RCORE) with two components. Co-occurrence Prior Regularization (CPR) adds explicit supervision for unseen compositions and regularizes the model against frequent co-occurrence priors by treating them as hard negatives. Temporal Order Regularization for Composition (TORC) enforces temporal-order sensitivity to learn temporally grounded verb representations. Across Sth-com and EK100-com, RCORE reduces shortcut diagnostics and consequently improves compositional generalization.