Waarom kan ik mijn lade niet openen? Het tegengaan van objectgedreven shortcuts in zero-shot compositionele actieherkenning

Samenvatting

Zero-Shot Compositionele Actieherkenning (ZS-CAR) vereist het herkennen van nieuwe werkwoord-voorwerp combinaties die zijn samengesteld uit eerder waargenomen primitieven. In dit werk pakken we een belangrijke faalmodus aan: modellen voorspellen werkwoorden via object-gedreven snelkoppelingen (d.w.z. vertrouwend op de gelabelde objectklasse) in plaats van op temporeel bewijs. Wij stellen dat schaarse compositionele supervisie en een asymmetrie in het leren van werkwoord-object relaties object-gedreven snelkoppelingsleren kunnen bevorderen. Onze analyse met voorgestelde diagnostische metrieken toont aan dat bestaande methoden overmatig aanpassen aan trainingsco-occurrentiepatronen en onvoldoende gebruik maken van temporele werkwoordaanwijzingen, wat leidt tot zwakke generalisatie naar ongeziene composities. Om object-gedreven snelkoppelingen aan te pakken, stellen we Robust Compositionele REpresentaties (RCORE) voor met twee componenten. Co-occurrentie Prior Regularisatie (CPR) voegt expliciete supervisie toe voor ongeziene composities en regulariseert het model tegen frequente co-occurrentie-priors door deze als harde negatieven te behandelen. Temporele Orde Regularisatie voor Compositie (TORC) dwingt temporele-ordegevoeligheid af om temporeel gefundeerde werkwoordrepresentaties te leren. Op Sth-com en EK100-com vermindert RCORE shortcut-diagnostieken en verbetert daarmee de compositionele generalisatie.

English

Zero-Shot Compositional Action Recognition (ZS-CAR) requires recognizing novel verb-object combinations composed of previously observed primitives. In this work, we tackle a key failure mode: models predict verbs via object-driven shortcuts (i.e., relying on the labeled object class) rather than temporal evidence. We argue that sparse compositional supervision and verb-object learning asymmetry can promote object-driven shortcut learning. Our analysis with proposed diagnostic metrics shows that existing methods overfit to training co-occurrence patterns and underuse temporal verb cues, resulting in weak generalization to unseen compositions. To address object-driven shortcuts, we propose Robust COmpositional REpresentations (RCORE) with two components. Co-occurrence Prior Regularization (CPR) adds explicit supervision for unseen compositions and regularizes the model against frequent co-occurrence priors by treating them as hard negatives. Temporal Order Regularization for Composition (TORC) enforces temporal-order sensitivity to learn temporally grounded verb representations. Across Sth-com and EK100-com, RCORE reduces shortcut diagnostics and consequently improves compositional generalization.