Warum kann ich meine Schublade nicht öffnen? Minderung objektgesteuerter Kurzschlüsse in der Zero-Shot-kompositionellen Aktionserkennung

Zusammenfassung

Zero-Shot Compositionale Aktionserkennung (ZS-CAR) erfordert die Erkennung neuer Verb-Objekt-Kombinationen, die aus zuvor beobachteten Grundbestandteilen zusammengesetzt sind. In dieser Arbeit befassen wir uns mit einem zentralen Fehlermodus: Modelle sagen Verben mittels objektgetriebener Abkürzungen vorher (d.h., sie stützen sich auf die annotierte Objektklasse) anstatt auf zeitliche Evidenz. Wir argumentieren, dass spärliche kompositionale Überwachung und eine Asymmetrie im Verb-Objekt-Lernen das Erlernen objektgetriebener Abkürzungen begünstigen können. Unsere Analyse mit vorgeschlagenen diagnostischen Metriken zeigt, dass bestehende Methoden auf Trainings-Kookkurrenzmuster überangepasst sind und zeitliche Verbhinweise unzureichend nutzen, was zu einer schwachen Generalisierung auf ungesehene Kompositionen führt. Um objektgetriebenen Abkürzungen entgegenzuwirken, schlagen wir Robust Compositional Representations (RCORE) mit zwei Komponenten vor. Die Co-occurrence Prior Regularization (CPR) fügt explizite Überwachung für ungesehene Kompositionen hinzu und regularisiert das Modell gegen häufige Kookkurrenzpriore, indem diese als harte Negative behandelt werden. Die Temporal Order Regularization for Composition (TORC) erzwingt eine Sensitivität für zeitliche Abfolgen, um zeitlich verankerte Verb-Repräsentationen zu lernen. Auf Sth-com und EK100-com reduziert RCORE Abkürzungsdiagnostiken und verbessert folglich die kompositionale Generalisierung.

English

Zero-Shot Compositional Action Recognition (ZS-CAR) requires recognizing novel verb-object combinations composed of previously observed primitives. In this work, we tackle a key failure mode: models predict verbs via object-driven shortcuts (i.e., relying on the labeled object class) rather than temporal evidence. We argue that sparse compositional supervision and verb-object learning asymmetry can promote object-driven shortcut learning. Our analysis with proposed diagnostic metrics shows that existing methods overfit to training co-occurrence patterns and underuse temporal verb cues, resulting in weak generalization to unseen compositions. To address object-driven shortcuts, we propose Robust COmpositional REpresentations (RCORE) with two components. Co-occurrence Prior Regularization (CPR) adds explicit supervision for unseen compositions and regularizes the model against frequent co-occurrence priors by treating them as hard negatives. Temporal Order Regularization for Composition (TORC) enforces temporal-order sensitivity to learn temporally grounded verb representations. Across Sth-com and EK100-com, RCORE reduces shortcut diagnostics and consequently improves compositional generalization.