Selectief Contrastief Leren voor Zwak Gesuperviseerde Affordance Grounding

Selective Contrastive Learning for Weakly Supervised Affordance Grounding

August 11, 2025

Auteurs: WonJun Moon, Hyun Seok Seong, Jae-Pil Heo

cs.AI

Samenvatting

Het faciliteren van de interactie van een entiteit met objecten vereist het nauwkeurig identificeren van onderdelen die specifieke acties mogelijk maken. Weakly supervised affordance grounding (WSAG) probeert het menselijk leren van derde-persoonsdemonstraties na te bootsen, waarbij mensen intuïtief functionele onderdelen begrijpen zonder pixelniveau annotaties nodig te hebben. Om dit te bereiken, wordt grounding doorgaans geleerd met behulp van een gedeelde classificator over afbeeldingen vanuit verschillende perspectieven, samen met distillatiestrategieën die het proces van onderdeelontdekking incorporeren. Omdat affordance-relevante onderdelen echter niet altijd gemakkelijk te onderscheiden zijn, vertrouwen modellen voornamelijk op classificatie, waarbij ze vaak focussen op algemene klasse-specifieke patronen die niet gerelateerd zijn aan affordance. Om deze beperking aan te pakken, gaan we verder dan geïsoleerd onderdeelniveau leren door selectieve prototypische en pixel contrastieve doelen te introduceren die adaptief affordance-relevante signalen leren op zowel het onderdeel- als het objectniveau, afhankelijk van de granulariteit van de beschikbare informatie. Eerst identificeren we de actie-geassocieerde objecten in zowel egocentrische (objectgerichte) als exocentrische (derde-persoonsvoorbeeld) afbeeldingen door gebruik te maken van CLIP. Vervolgens graven we door kruisverwijzing van de ontdekte objecten van complementaire perspectieven de precieze onderdeelniveau affordance-aanwijzingen in elk perspectief uit. Door consistent te leren om affordance-relevante regio's te onderscheiden van affordance-irrelevante achtergrondcontext, verschuift onze aanpak effectief de activering van irrelevante gebieden naar betekenisvolle affordance-signalen. Experimentele resultaten tonen de effectiviteit van onze methode aan. Codes zijn beschikbaar op github.com/hynnsk/SelectiveCL.

English

Facilitating an entity's interaction with objects requires accurately identifying parts that afford specific actions. Weakly supervised affordance grounding (WSAG) seeks to imitate human learning from third-person demonstrations, where humans intuitively grasp functional parts without needing pixel-level annotations. To achieve this, grounding is typically learned using a shared classifier across images from different perspectives, along with distillation strategies incorporating part discovery process. However, since affordance-relevant parts are not always easily distinguishable, models primarily rely on classification, often focusing on common class-specific patterns that are unrelated to affordance. To address this limitation, we move beyond isolated part-level learning by introducing selective prototypical and pixel contrastive objectives that adaptively learn affordance-relevant cues at both the part and object levels, depending on the granularity of the available information. Initially, we find the action-associated objects in both egocentric (object-focused) and exocentric (third-person example) images by leveraging CLIP. Then, by cross-referencing the discovered objects of complementary views, we excavate the precise part-level affordance clues in each perspective. By consistently learning to distinguish affordance-relevant regions from affordance-irrelevant background context, our approach effectively shifts activation from irrelevant areas toward meaningful affordance cues. Experimental results demonstrate the effectiveness of our method. Codes are available at github.com/hynnsk/SelectiveCL.