PixelThink: Auf dem Weg zu effizienter Chain-of-Pixel-Argumentation

PixelThink: Towards Efficient Chain-of-Pixel Reasoning

May 29, 2025

Autoren: Song Wang, Gongfan Fang, Lingdong Kong, Xiangtai Li, Jianyun Xu, Sheng Yang, Qiang Li, Jianke Zhu, Xinchao Wang

cs.AI

Zusammenfassung

Bestehende Ansätze zur Reasoning-Segmentierung feinabstimmen typischerweise multimodale große Sprachmodelle (MLLMs) unter Verwendung von Bild-Text-Paaren und entsprechenden Maskenlabels. Allerdings zeigen sie eine begrenzte Generalisierungsfähigkeit in Out-of-Distribution-Szenarien ohne einen expliziten Reasoning-Prozess. Obwohl jüngste Bemühungen durch Reinforcement Learning mittels gruppenrelativer Policy-Optimierung (GRPO) die Reasoning-Fähigkeit verbessern, leiden sie oft an Overthinking – der Erzeugung durchweg ausführlicher Reasoning-Ketten unabhängig von der Aufgabenkomplexität. Dies führt zu erhöhten Rechenkosten und begrenzter Kontrolle über die Reasoning-Qualität. Um dieses Problem zu lösen, schlagen wir PixelThink vor, ein einfaches, aber effektives Schema, das extern geschätzte Aufgabenkomplexität und intern gemessene Modellunsicherheit integriert, um die Reasoning-Erzeugung innerhalb eines Reinforcement-Learning-Paradigmas zu regulieren. Das Modell lernt, die Reasoning-Länge entsprechend der Szenenkomplexität und der Vorhersagesicherheit zu komprimieren. Um eine umfassende Bewertung zu unterstützen, führen wir ReasonSeg-Diff ein, einen erweiterten Benchmark mit annotierten Reasoning-Referenzen und Schwierigkeitsbewertungen, sowie eine Reihe von Metriken, die darauf ausgelegt sind, Segmentierungsgenauigkeit, Reasoning-Qualität und Effizienz gemeinsam zu bewerten. Experimentelle Ergebnisse zeigen, dass der vorgeschlagene Ansatz sowohl die Reasoning-Effizienz als auch die gesamte Segmentierungsleistung verbessert. Unsere Arbeit leistet einen Beitrag zu neuen Perspektiven für effizientes und interpretierbares multimodales Verständnis. Der Code und das Modell werden öffentlich verfügbar sein.

English

Existing reasoning segmentation approaches typically fine-tune multimodal large language models (MLLMs) using image-text pairs and corresponding mask labels. However, they exhibit limited generalization to out-of-distribution scenarios without an explicit reasoning process. Although recent efforts leverage reinforcement learning through group-relative policy optimization (GRPO) to enhance reasoning ability, they often suffer from overthinking - producing uniformly verbose reasoning chains irrespective of task complexity. This results in elevated computational costs and limited control over reasoning quality. To address this problem, we propose PixelThink, a simple yet effective scheme that integrates externally estimated task difficulty and internally measured model uncertainty to regulate reasoning generation within a reinforcement learning paradigm. The model learns to compress reasoning length in accordance with scene complexity and predictive confidence. To support comprehensive evaluation, we introduce ReasonSeg-Diff, an extended benchmark with annotated reasoning references and difficulty scores, along with a suite of metrics designed to assess segmentation accuracy, reasoning quality, and efficiency jointly. Experimental results demonstrate that the proposed approach improves both reasoning efficiency and overall segmentation performance. Our work contributes novel perspectives towards efficient and interpretable multimodal understanding. The code and model will be publicly available.