CPPO: 視覚言語政策最適化のための対照的知覚

要旨

本論文では、視覚言語モデル（VLM）のファインチューニング手法であるContrastive Perception Policy Optimization（CPPO）を提案する。強化学習（RL）は言語モデルの推論能力を進展させてきたが、マルチモーダル推論に拡張するには、知覚と推論の両側面を改善する必要がある。従来研究は主に明示的な知覚報酬でこの課題に取り組んできたが、知覚トークンと推論トークンを分離することは困難であり、追加のLLMや正解データの必要性、政策モデルによる知覚と推論の強制的分離、あるいは全出力トークンへの報酬一律適用などの課題があった。CPPOは、摂動を加えた入力画像に対するモデル出力のエントロピー変化を検出することで知覚トークンを特定し、この問題に対処する。さらに、RLの目的関数をContrastive Perception Loss（CPL）で拡張し、情報保存的摂動下では一貫性を、情報削除的摂動下では感応性を強化する。実験により、CPPOが追加モデルを必要とせず、訓練の効率性と拡張性を維持しつつ、従来の知覚報酬手法を凌駕することを示す。

English

We introduce CPPO, a Contrastive Perception Policy Optimization method for finetuning vision-language models (VLMs). While reinforcement learning (RL) has advanced reasoning in language models, extending it to multimodal reasoning requires improving both the perception and reasoning aspects. Prior works tackle this challenge mainly with explicit perception rewards, but disentangling perception tokens from reasoning tokens is difficult, requiring extra LLMs, ground-truth data, forced separation of perception from reasoning by policy model, or applying rewards indiscriminately to all output tokens. CPPO addresses this problem by detecting perception tokens via entropy shifts in the model outputs under perturbed input images. CPPO then extends the RL objective function with a Contrastive Perception Loss (CPL) that enforces consistency under information-preserving perturbations and sensitivity under information-removing ones. Experiments show that CPPO surpasses previous perception-rewarding methods, while avoiding extra models, making training more efficient and scalable.

CPPO: 視覚言語政策最適化のための対照的知覚

CPPO: Contrastive Perception for Vision Language Policy Optimization

要旨

Support