CPPO: Контрастное восприятие для оптимизации стратегий «визуальный язык»

CPPO: Contrastive Perception for Vision Language Policy Optimization

January 1, 2026

Авторы: Ahmad Rezaei, Mohsen Gholami, Saeed Ranjbar Alvar, Kevin Cannons, Mohammad Asiful Hossain, Zhou Weimin, Shunbo Zhou, Yong Zhang, Mohammad Akbari

cs.AI

Аннотация

Мы представляем метод CPPO (Contrastive Perception Policy Optimization) для тонкой настройки визуально-языковых моделей (VLMs). Хотя обучение с подкреплением (RL) способствовало прогрессу в области рассуждений языковых моделей, его расширение на мультимодальные рассуждения требует улучшения как перцептивных, так и логических аспектов. Предыдущие работы решали эту задачу в основном с помощью явных перцептивных вознаграждений, однако разделение перцептивных и логических токенов является сложной задачей, требующей привлечения дополнительных больших языковых моделей (LLM), данных с размеченными истинными значениями, принудительного разделения восприятия и рассуждений в модели политики или применения вознаграждений ко всем выходным токенам без разбора. CPPO решает эту проблему путем обнаружения перцептивных токенов через анализ сдвигов энтропии в выходах модели при подаче искаженных входных изображений. Затем CPPO расширяет целевую функцию RL с помощью Контрастной Перцептивной Потери (CPL), которая обеспечивает согласованность выходов при информационно-сохраняющих искажениях и чувствительность — при информационно-удаляющих. Эксперименты показывают, что CPPO превосходит предыдущие методы с перцептивным вознаграждением, при этом не требуя дополнительных моделей, что делает обучение более эффективным и масштабируемым.

English

We introduce CPPO, a Contrastive Perception Policy Optimization method for finetuning vision-language models (VLMs). While reinforcement learning (RL) has advanced reasoning in language models, extending it to multimodal reasoning requires improving both the perception and reasoning aspects. Prior works tackle this challenge mainly with explicit perception rewards, but disentangling perception tokens from reasoning tokens is difficult, requiring extra LLMs, ground-truth data, forced separation of perception from reasoning by policy model, or applying rewards indiscriminately to all output tokens. CPPO addresses this problem by detecting perception tokens via entropy shifts in the model outputs under perturbed input images. CPPO then extends the RL objective function with a Contrastive Perception Loss (CPL) that enforces consistency under information-preserving perturbations and sensitivity under information-removing ones. Experiments show that CPPO surpasses previous perception-rewarding methods, while avoiding extra models, making training more efficient and scalable.