Aprendizaje Contrastivo Selectivo para la Localización de Afordanzas con Supervisión Débil

Selective Contrastive Learning for Weakly Supervised Affordance Grounding

August 11, 2025

Autores: WonJun Moon, Hyun Seok Seong, Jae-Pil Heo

cs.AI

Resumen

Facilitar la interacción de una entidad con objetos requiere identificar con precisión las partes que permiten acciones específicas. La fundamentación de affordances con supervisión débil (WSAG, por sus siglas en inglés) busca imitar el aprendizaje humano a partir de demostraciones en tercera persona, donde los humanos comprenden intuitivamente las partes funcionales sin necesidad de anotaciones a nivel de píxeles. Para lograrlo, la fundamentación se aprende típicamente utilizando un clasificador compartido en imágenes desde diferentes perspectivas, junto con estrategias de destilación que incorporan el proceso de descubrimiento de partes. Sin embargo, dado que las partes relevantes para las affordances no siempre son fácilmente distinguibles, los modelos dependen principalmente de la clasificación, enfocándose a menudo en patrones específicos de clase comunes que no están relacionados con las affordances. Para abordar esta limitación, vamos más allá del aprendizaje aislado a nivel de parte al introducir objetivos selectivos prototípicos y de contraste de píxeles que aprenden adaptivamente las señales relevantes para las affordances tanto a nivel de parte como de objeto, dependiendo de la granularidad de la información disponible. Inicialmente, identificamos los objetos asociados a la acción en imágenes tanto egocéntricas (centradas en el objeto) como exocéntricas (ejemplos en tercera persona) aprovechando CLIP. Luego, al cruzar referencias de los objetos descubiertos en vistas complementarias, excavamos las pistas precisas de affordance a nivel de parte en cada perspectiva. Al aprender consistentemente a distinguir las regiones relevantes para las affordances del contexto de fondo irrelevante, nuestro enfoque desplaza efectivamente la activación de áreas irrelevantes hacia señales de affordance significativas. Los resultados experimentales demuestran la efectividad de nuestro método. Los códigos están disponibles en github.com/hynnsk/SelectiveCL.

English

Facilitating an entity's interaction with objects requires accurately identifying parts that afford specific actions. Weakly supervised affordance grounding (WSAG) seeks to imitate human learning from third-person demonstrations, where humans intuitively grasp functional parts without needing pixel-level annotations. To achieve this, grounding is typically learned using a shared classifier across images from different perspectives, along with distillation strategies incorporating part discovery process. However, since affordance-relevant parts are not always easily distinguishable, models primarily rely on classification, often focusing on common class-specific patterns that are unrelated to affordance. To address this limitation, we move beyond isolated part-level learning by introducing selective prototypical and pixel contrastive objectives that adaptively learn affordance-relevant cues at both the part and object levels, depending on the granularity of the available information. Initially, we find the action-associated objects in both egocentric (object-focused) and exocentric (third-person example) images by leveraging CLIP. Then, by cross-referencing the discovered objects of complementary views, we excavate the precise part-level affordance clues in each perspective. By consistently learning to distinguish affordance-relevant regions from affordance-irrelevant background context, our approach effectively shifts activation from irrelevant areas toward meaningful affordance cues. Experimental results demonstrate the effectiveness of our method. Codes are available at github.com/hynnsk/SelectiveCL.