CPPO: Contrastieve Perceptie voor Visie-Taalbeleidsoptimalisatie

CPPO: Contrastive Perception for Vision Language Policy Optimization

January 1, 2026

Auteurs: Ahmad Rezaei, Mohsen Gholami, Saeed Ranjbar Alvar, Kevin Cannons, Mohammad Asiful Hossain, Zhou Weimin, Shunbo Zhou, Yong Zhang, Mohammad Akbari

cs.AI

Samenvatting

Wij introduceren CPPO, een Contrastive Perception Policy Optimization-methode voor het finetunen van vision-language modellen (VLM's). Hoewel reinforcement learning (RL) de redeneervaardigheid van taalmodellen heeft verbeterd, vereist de uitbreiding naar multimodaal redeneren verbetering van zowel de perceptuele als de redeneeraspecten. Eerdere werken pakken deze uitdaging vooral aan met expliciete perceptiebeloningen, maar het ontwarren van perceptietokens van redeneertokens is moeilijk en vereist extra grote taalmodellen, grondwaarheid-data, geforceerde scheiding van perceptie en redeneren door het beleidsmodel, of het ongericht toepassen van beloningen op alle outputtokens. CPPO lost dit probleem op door perceptietokens te detecteren via entropieverschuivingen in de modeloutputs onder verstoorde invoerafbeeldingen. CPPO breidt vervolgens de RL-doelfunctie uit met een Contrastive Perception Loss (CPL) die consistentie afdwingt onder informatiebehoudende verstoringen en gevoeligheid onder informatieverwijderende verstoringen. Experimenten tonen aan dat CPPO eerdere methoden met perceptiebeloning overtreft, terwijl het extra modellen vermijdt, waardoor de training efficiënter en schaalbaarder wordt.

English

We introduce CPPO, a Contrastive Perception Policy Optimization method for finetuning vision-language models (VLMs). While reinforcement learning (RL) has advanced reasoning in language models, extending it to multimodal reasoning requires improving both the perception and reasoning aspects. Prior works tackle this challenge mainly with explicit perception rewards, but disentangling perception tokens from reasoning tokens is difficult, requiring extra LLMs, ground-truth data, forced separation of perception from reasoning by policy model, or applying rewards indiscriminately to all output tokens. CPPO addresses this problem by detecting perception tokens via entropy shifts in the model outputs under perturbed input images. CPPO then extends the RL objective function with a Contrastive Perception Loss (CPL) that enforces consistency under information-preserving perturbations and sensitivity under information-removing ones. Experiments show that CPPO surpasses previous perception-rewarding methods, while avoiding extra models, making training more efficient and scalable.