なぜ引き出しを開けられないのか？ゼロショット合成動作認識における物体駆動ショートカットの緩和

要旨

ゼロショット合成動作認識（ZS-CAR）は、過去に観測したプリミティブから構成される新しい動詞-目的語の組み合わせを認識することを必要とする。本研究では、主要な失敗モードに取り組む。すなわち、モデルが時間的証拠ではなく、物体駆動のショートカット（教師ラベルが付された物体クラスに依存すること）を介して動詞を予測する点である。我々は、疎な合成的教師信号と動詞-目的語間の学習非対称性が、物体駆動のショートカット学習を促進し得ると主張する。提案する診断指標を用いた分析により、既存手法が学習時の共起パターンに過適合し、時間的な動詞の手がかりを十分に活用していないため、未観測の合成への汎化が弱いことが示された。物体駆動のショートカットに対処するため、我々はRobust COmpositional REpresentations（RCORE）を提案する。これは二つの要素から成る。Co-occurrence Prior Regularization（CPR）は、未観測の合成に対する明示的な教師信号を追加し、頻繁な共起事前分布をハードネガティブとして扱うことで、それらに対するモデルの正則化を行う。Temporal Order Regularization for Composition（TORC）は、時間順序への感度を強制し、時間的に基づいた動詞表現を学習する。Sth-comおよびEK100-comにおいて、RCOREはショートカット診断指標を低減し、その結果として合成汎化を改善する。

English

Zero-Shot Compositional Action Recognition (ZS-CAR) requires recognizing novel verb-object combinations composed of previously observed primitives. In this work, we tackle a key failure mode: models predict verbs via object-driven shortcuts (i.e., relying on the labeled object class) rather than temporal evidence. We argue that sparse compositional supervision and verb-object learning asymmetry can promote object-driven shortcut learning. Our analysis with proposed diagnostic metrics shows that existing methods overfit to training co-occurrence patterns and underuse temporal verb cues, resulting in weak generalization to unseen compositions. To address object-driven shortcuts, we propose Robust COmpositional REpresentations (RCORE) with two components. Co-occurrence Prior Regularization (CPR) adds explicit supervision for unseen compositions and regularizes the model against frequent co-occurrence priors by treating them as hard negatives. Temporal Order Regularization for Composition (TORC) enforces temporal-order sensitivity to learn temporally grounded verb representations. Across Sth-com and EK100-com, RCORE reduces shortcut diagnostics and consequently improves compositional generalization.