PixelThink: Op weg naar efficiënte keten-van-pixel-redenering

PixelThink: Towards Efficient Chain-of-Pixel Reasoning

May 29, 2025

Auteurs: Song Wang, Gongfan Fang, Lingdong Kong, Xiangtai Li, Jianyun Xu, Sheng Yang, Qiang Li, Jianke Zhu, Xinchao Wang

cs.AI

Samenvatting

Bestaande benaderingen voor redeneersegmentatie stemmen doorgaans multimodale grote taalmodellen (MLLMs) af met behulp van beeld-tekstparen en bijbehorende maskerlabels. Ze vertonen echter beperkte generalisatie naar out-of-distributiescenario's zonder een expliciet redeneerproces. Hoewel recente inspanningen reinforcement learning gebruiken via group-relative policy optimization (GRPO) om het redeneervermogen te verbeteren, lijden ze vaak aan overdenken - het produceren van uniform uitgebreide redeneerketens, ongeacht de taakcomplexiteit. Dit resulteert in hogere computatiekosten en beperkte controle over de redeneerkwaliteit. Om dit probleem aan te pakken, stellen we PixelThink voor, een eenvoudig maar effectief schema dat extern geschatte taakmoeilijkheid en intern gemeten modelonzekerheid integreert om de redeneergeneratie binnen een reinforcement learning-paradigma te reguleren. Het model leert om de redeneerlengte te comprimeren in overeenstemming met de scènecomplexiteit en voorspellingszekerheid. Om een uitgebreide evaluatie te ondersteunen, introduceren we ReasonSeg-Diff, een uitgebreide benchmark met geannoteerde redeneerreferenties en moeilijkheidsscores, samen met een reeks metrieken die zijn ontworpen om segmentatienauwkeurigheid, redeneerkwaliteit en efficiëntie gezamenlijk te beoordelen. Experimentele resultaten tonen aan dat de voorgestelde aanpak zowel de redeneerefficiëntie als de algehele segmentatieprestatie verbetert. Ons werk draagt bij aan nieuwe perspectieven op efficiënte en interpreteerbare multimodale begripsvorming. De code en het model zullen openbaar beschikbaar worden gesteld.

English

Existing reasoning segmentation approaches typically fine-tune multimodal large language models (MLLMs) using image-text pairs and corresponding mask labels. However, they exhibit limited generalization to out-of-distribution scenarios without an explicit reasoning process. Although recent efforts leverage reinforcement learning through group-relative policy optimization (GRPO) to enhance reasoning ability, they often suffer from overthinking - producing uniformly verbose reasoning chains irrespective of task complexity. This results in elevated computational costs and limited control over reasoning quality. To address this problem, we propose PixelThink, a simple yet effective scheme that integrates externally estimated task difficulty and internally measured model uncertainty to regulate reasoning generation within a reinforcement learning paradigm. The model learns to compress reasoning length in accordance with scene complexity and predictive confidence. To support comprehensive evaluation, we introduce ReasonSeg-Diff, an extended benchmark with annotated reasoning references and difficulty scores, along with a suite of metrics designed to assess segmentation accuracy, reasoning quality, and efficiency jointly. Experimental results demonstrate that the proposed approach improves both reasoning efficiency and overall segmentation performance. Our work contributes novel perspectives towards efficient and interpretable multimodal understanding. The code and model will be publicly available.