Селективное контрастное обучение для слабо контролируемого заземления аффордансов

Selective Contrastive Learning for Weakly Supervised Affordance Grounding

August 11, 2025

Авторы: WonJun Moon, Hyun Seok Seong, Jae-Pil Heo

cs.AI

Аннотация

Обеспечение взаимодействия объекта с окружающими предметами требует точного определения частей, которые позволяют выполнять конкретные действия. Слабо контролируемое заземление аффордансов (WSAG) стремится имитировать обучение человека на основе демонстраций от третьего лица, где люди интуитивно понимают функциональные части без необходимости пиксельной аннотации. Для достижения этого заземление обычно изучается с использованием общего классификатора для изображений с разных ракурсов, а также стратегий дистилляции, включающих процесс обнаружения частей. Однако, поскольку части, связанные с аффордансами, не всегда легко различимы, модели в основном полагаются на классификацию, часто сосредотачиваясь на общих шаблонах, специфичных для класса, которые не связаны с аффордансами. Чтобы устранить это ограничение, мы выходим за рамки изолированного обучения на уровне частей, вводя селективные прототипные и пиксельные контрастные цели, которые адаптивно изучают признаки, связанные с аффордансами, как на уровне частей, так и на уровне объекта, в зависимости от детализации доступной информации. Изначально мы находим объекты, связанные с действием, как в эгоцентрических (сфокусированных на объекте), так и в экзоцентрических (демонстрациях от третьего лица) изображениях, используя CLIP. Затем, сопоставляя обнаруженные объекты на дополнительных ракурсах, мы выявляем точные подсказки аффордансов на уровне частей в каждом ракурсе. Последовательно обучаясь отличать области, связанные с аффордансами, от фонового контекста, не имеющего отношения к аффордансам, наш подход эффективно смещает активацию с нерелевантных областей на значимые признаки аффордансов. Экспериментальные результаты демонстрируют эффективность нашего метода. Код доступен на github.com/hynnsk/SelectiveCL.

English

Facilitating an entity's interaction with objects requires accurately identifying parts that afford specific actions. Weakly supervised affordance grounding (WSAG) seeks to imitate human learning from third-person demonstrations, where humans intuitively grasp functional parts without needing pixel-level annotations. To achieve this, grounding is typically learned using a shared classifier across images from different perspectives, along with distillation strategies incorporating part discovery process. However, since affordance-relevant parts are not always easily distinguishable, models primarily rely on classification, often focusing on common class-specific patterns that are unrelated to affordance. To address this limitation, we move beyond isolated part-level learning by introducing selective prototypical and pixel contrastive objectives that adaptively learn affordance-relevant cues at both the part and object levels, depending on the granularity of the available information. Initially, we find the action-associated objects in both egocentric (object-focused) and exocentric (third-person example) images by leveraging CLIP. Then, by cross-referencing the discovered objects of complementary views, we excavate the precise part-level affordance clues in each perspective. By consistently learning to distinguish affordance-relevant regions from affordance-irrelevant background context, our approach effectively shifts activation from irrelevant areas toward meaningful affordance cues. Experimental results demonstrate the effectiveness of our method. Codes are available at github.com/hynnsk/SelectiveCL.