CPPO: Kontrastive Wahrnehmung für Visuell-Sprachliche Politikoptimierung
CPPO: Contrastive Perception for Vision Language Policy Optimization
January 1, 2026
papers.authors: Ahmad Rezaei, Mohsen Gholami, Saeed Ranjbar Alvar, Kevin Cannons, Mohammad Asiful Hossain, Zhou Weimin, Shunbo Zhou, Yong Zhang, Mohammad Akbari
cs.AI
papers.abstract
Wir stellen CPPO vor, eine Contrastive Perception Policy Optimization-Methode zur Feinabstimmung von Vision-Sprache-Modellen (VLMs). Während Reinforcement Learning (RL) das Schlussfolgern in Sprachmodellen vorangetrieben hat, erfordert die Ausweitung auf multimodales Schlussfolgern Verbesserungen sowohl der Wahrnehmungs- als auch der Schlussfolgerungsaspekte. Bisherige Arbeiten bewältigen diese Herausforderung hauptsächlich mit expliziten Wahrnehmungs-Belohnungen, doch die Trennung von Wahrnehmungs-Tokens von Schlussfolgerungs-Tokens ist schwierig und erfordert zusätzliche LLMs, Ground-Truth-Daten, erzwungene Trennung der Wahrnehmung von der Schlussfolgerung durch das Policy-Modell oder undifferenzierte Anwendung von Belohnungen auf alle Ausgabe-Tokens. CPPO adressiert dieses Problem, indem es Wahrnehmungs-Tokens durch Entropieverschiebungen in den Modellausgaben unter gestörten Eingabebildern erkennt. CPPO erweitert dann die RL-Zielfunktion um einen Contrastive Perception Loss (CPL), der Konsistenz unter informationserhaltenden Störungen und Empfindlichkeit unter informationsentfernenden Störungen erzwingt. Experimente zeigen, dass CPPO frühere Methoden mit Wahrnehmungsbelohnung übertrifft, während es zusätzliche Modelle vermeidet und so das Training effizienter und skalierbarer macht.
English
We introduce CPPO, a Contrastive Perception Policy Optimization method for finetuning vision-language models (VLMs). While reinforcement learning (RL) has advanced reasoning in language models, extending it to multimodal reasoning requires improving both the perception and reasoning aspects. Prior works tackle this challenge mainly with explicit perception rewards, but disentangling perception tokens from reasoning tokens is difficult, requiring extra LLMs, ground-truth data, forced separation of perception from reasoning by policy model, or applying rewards indiscriminately to all output tokens. CPPO addresses this problem by detecting perception tokens via entropy shifts in the model outputs under perturbed input images. CPPO then extends the RL objective function with a Contrastive Perception Loss (CPL) that enforces consistency under information-preserving perturbations and sensitivity under information-removing ones. Experiments show that CPPO surpasses previous perception-rewarding methods, while avoiding extra models, making training more efficient and scalable.