Selektives kontrastives Lernen für schwach überwachtes Affordance-Grounding

Selective Contrastive Learning for Weakly Supervised Affordance Grounding

August 11, 2025

papers.authors: WonJun Moon, Hyun Seok Seong, Jae-Pil Heo

cs.AI

papers.abstract

Die Erleichterung der Interaktion einer Entität mit Objekten erfordert die präzise Identifizierung von Teilen, die spezifische Aktionen ermöglichen. Schwach überwachtes Affordance-Grounding (WSAG) versucht, das menschliche Lernen aus Demonstrationen aus der dritten Person nachzuahmen, bei denen Menschen funktionale Teile intuitiv erfassen, ohne pixelgenaue Annotationen zu benötigen. Um dies zu erreichen, wird das Grounding typischerweise mithilfe eines gemeinsamen Klassifikators über Bilder aus verschiedenen Perspektiven gelernt, zusammen mit Destillationsstrategien, die den Prozess der Teileentdeckung einbeziehen. Da jedoch affordanzrelevante Teile nicht immer leicht unterscheidbar sind, verlassen sich Modelle hauptsächlich auf Klassifikation, wobei sie oft auf klassenspezifische Muster fokussieren, die nicht mit der Affordance zusammenhängen. Um diese Einschränkung zu überwinden, gehen wir über isoliertes Teile-Lernen hinaus, indem wir selektive prototypische und pixelkontrastive Ziele einführen, die adaptiv affordanzrelevante Hinweise sowohl auf Teil- als auch auf Objektebene lernen, abhängig von der Granularität der verfügbaren Informationen. Zunächst identifizieren wir die aktionsassoziierten Objekte in sowohl egozentrischen (objektfokussierten) als auch exozentrischen (Beispielen aus der dritten Person) Bildern durch die Nutzung von CLIP. Durch den Abgleich der entdeckten Objekte komplementärer Ansichten erschließen wir dann die präzisen affordanzrelevanten Hinweise auf Teilebene in jeder Perspektive. Durch konsequentes Lernen, affordanzrelevante Regionen vom affordanzirrelevanten Hintergrundkontext zu unterscheiden, verlagert unser Ansatz effektiv die Aktivierung von irrelevanten Bereichen hin zu bedeutungsvollen Affordance-Hinweisen. Experimentelle Ergebnisse demonstrieren die Wirksamkeit unserer Methode. Die Codes sind verfügbar unter github.com/hynnsk/SelectiveCL.

English

Facilitating an entity's interaction with objects requires accurately identifying parts that afford specific actions. Weakly supervised affordance grounding (WSAG) seeks to imitate human learning from third-person demonstrations, where humans intuitively grasp functional parts without needing pixel-level annotations. To achieve this, grounding is typically learned using a shared classifier across images from different perspectives, along with distillation strategies incorporating part discovery process. However, since affordance-relevant parts are not always easily distinguishable, models primarily rely on classification, often focusing on common class-specific patterns that are unrelated to affordance. To address this limitation, we move beyond isolated part-level learning by introducing selective prototypical and pixel contrastive objectives that adaptively learn affordance-relevant cues at both the part and object levels, depending on the granularity of the available information. Initially, we find the action-associated objects in both egocentric (object-focused) and exocentric (third-person example) images by leveraging CLIP. Then, by cross-referencing the discovered objects of complementary views, we excavate the precise part-level affordance clues in each perspective. By consistently learning to distinguish affordance-relevant regions from affordance-irrelevant background context, our approach effectively shifts activation from irrelevant areas toward meaningful affordance cues. Experimental results demonstrate the effectiveness of our method. Codes are available at github.com/hynnsk/SelectiveCL.