CPPO: Percepción Contrastante para la Optimización de Políticas de Visión y Lenguaje

CPPO: Contrastive Perception for Vision Language Policy Optimization

January 1, 2026

Autores: Ahmad Rezaei, Mohsen Gholami, Saeed Ranjbar Alvar, Kevin Cannons, Mohammad Asiful Hossain, Zhou Weimin, Shunbo Zhou, Yong Zhang, Mohammad Akbari

cs.AI

Resumen

Presentamos CPPO, un método de Optimización de Políticas de Percepción Contrastiva para el ajuste fino de modelos de visión y lenguaje (VLMs). Si bien el aprendizaje por refuerzo (RL) ha avanzado el razonamiento en modelos de lenguaje, extenderlo al razonamiento multimodal requiere mejorar tanto los aspectos de percepción como de razonamiento. Trabajos previos abordan este desafío principalmente con recompensas de percepción explícitas, pero separar los tokens de percepción de los tokens de razonamiento es difícil, lo que requiere LLMs adicionales, datos de verdad fundamental, una separación forzada de la percepción y el razonamiento por parte del modelo de políticas, o la aplicación indiscriminada de recompensas a todos los tokens de salida. CPPO aborda este problema detectando tokens de percepción mediante cambios de entropía en las salidas del modelo bajo imágenes de entrada perturbadas. CPPO luego extiende la función objetivo de RL con una Pérdida de Percepción Contrastiva (CPL) que impone consistencia bajo perturbaciones que preservan información y sensibilidad bajo aquellas que la eliminan. Los experimentos muestran que CPPO supera a métodos previos basados en recompensas de percepción, evitando al mismo tiempo modelos extra, haciendo el entrenamiento más eficiente y escalable.

English

We introduce CPPO, a Contrastive Perception Policy Optimization method for finetuning vision-language models (VLMs). While reinforcement learning (RL) has advanced reasoning in language models, extending it to multimodal reasoning requires improving both the perception and reasoning aspects. Prior works tackle this challenge mainly with explicit perception rewards, but disentangling perception tokens from reasoning tokens is difficult, requiring extra LLMs, ground-truth data, forced separation of perception from reasoning by policy model, or applying rewards indiscriminately to all output tokens. CPPO addresses this problem by detecting perception tokens via entropy shifts in the model outputs under perturbed input images. CPPO then extends the RL objective function with a Contrastive Perception Loss (CPL) that enforces consistency under information-preserving perturbations and sensitivity under information-removing ones. Experiments show that CPPO surpasses previous perception-rewarding methods, while avoiding extra models, making training more efficient and scalable.