Apprentissage Contrastif Sélectif pour l'Ancrage d'Affordances en Supervision Faible

Selective Contrastive Learning for Weakly Supervised Affordance Grounding

August 11, 2025

papers.authors: WonJun Moon, Hyun Seok Seong, Jae-Pil Heo

cs.AI

papers.abstract

Faciliter l'interaction d'une entité avec des objets nécessite d'identifier avec précision les parties qui permettent des actions spécifiques. L'ancrage d'affordance faiblement supervisé (WSAG) vise à imiter l'apprentissage humain à partir de démonstrations à la troisième personne, où les humains saisissent intuitivement les parties fonctionnelles sans avoir besoin d'annotations au niveau des pixels. Pour y parvenir, l'ancrage est généralement appris en utilisant un classifieur partagé à travers des images provenant de perspectives différentes, ainsi que des stratégies de distillation intégrant un processus de découverte de parties. Cependant, puisque les parties pertinentes pour l'affordance ne sont pas toujours facilement distinguables, les modèles s'appuient principalement sur la classification, se concentrant souvent sur des motifs spécifiques à la classe qui ne sont pas liés à l'affordance. Pour surmonter cette limitation, nous allons au-delà de l'apprentissage isolé au niveau des parties en introduisant des objectifs de contraste prototypique et pixel sélectifs qui apprennent de manière adaptative les indices pertinents pour l'affordance à la fois au niveau des parties et des objets, en fonction de la granularité des informations disponibles. Initialement, nous identifions les objets associés à l'action dans des images égocentriques (centrées sur l'objet) et exocentriques (exemples à la troisième personne) en exploitant CLIP. Ensuite, en recoupant les objets découverts dans des vues complémentaires, nous extrayons les indices précis d'affordance au niveau des parties dans chaque perspective. En apprenant de manière cohérente à distinguer les régions pertinentes pour l'affordance du contexte de fond non pertinent, notre approche déplace efficacement l'activation des zones non pertinentes vers des indices d'affordance significatifs. Les résultats expérimentaux démontrent l'efficacité de notre méthode. Les codes sont disponibles sur github.com/hynnsk/SelectiveCL.

English

Facilitating an entity's interaction with objects requires accurately identifying parts that afford specific actions. Weakly supervised affordance grounding (WSAG) seeks to imitate human learning from third-person demonstrations, where humans intuitively grasp functional parts without needing pixel-level annotations. To achieve this, grounding is typically learned using a shared classifier across images from different perspectives, along with distillation strategies incorporating part discovery process. However, since affordance-relevant parts are not always easily distinguishable, models primarily rely on classification, often focusing on common class-specific patterns that are unrelated to affordance. To address this limitation, we move beyond isolated part-level learning by introducing selective prototypical and pixel contrastive objectives that adaptively learn affordance-relevant cues at both the part and object levels, depending on the granularity of the available information. Initially, we find the action-associated objects in both egocentric (object-focused) and exocentric (third-person example) images by leveraging CLIP. Then, by cross-referencing the discovered objects of complementary views, we excavate the precise part-level affordance clues in each perspective. By consistently learning to distinguish affordance-relevant regions from affordance-irrelevant background context, our approach effectively shifts activation from irrelevant areas toward meaningful affordance cues. Experimental results demonstrate the effectiveness of our method. Codes are available at github.com/hynnsk/SelectiveCL.