Seg-Zero: Redeneerketen-gestuurde segmentatie via cognitieve versterking

Seg-Zero: Reasoning-Chain Guided Segmentation via Cognitive Reinforcement

March 9, 2025

Auteurs: Yuqi Liu, Bohao Peng, Zhisheng Zhong, Zihao Yue, Fanbin Lu, Bei Yu, Jiaya Jia

cs.AI

Samenvatting

Traditionele methoden voor redeneersegmentatie vertrouwen op supervised fine-tuning met categorische labels en eenvoudige beschrijvingen, wat de generalisatie buiten het domein beperkt en expliciete redeneerprocessen mist. Om deze beperkingen aan te pakken, stellen we Seg-Zero voor, een nieuw framework dat opmerkelijke generaliseerbaarheid demonstreert en expliciete ketens van redenering afleidt door cognitieve versterking. Seg-Zero introduceert een ontkoppelde architectuur bestaande uit een redeneermodel en een segmentatiemodel. Het redeneermodel interpreteert gebruikersintenties, genereert expliciete redeneerketens en produceert positionele prompts, die vervolgens door het segmentatiemodel worden gebruikt om nauwkeurige pixelgewijze maskers te genereren. We ontwerpen een geavanceerd beloningsmechanisme dat zowel formaat- als nauwkeurigheidsbeloningen integreert om de optimalisatierichtingen effectief te sturen. Uitsluitend getraind via reinforcement learning met GRPO en zonder expliciete redeneergegevens, bereikt Seg-Zero robuuste zero-shot generalisatie en vertoont het emergente redeneervaardigheden tijdens het testen. Experimenten tonen aan dat Seg-Zero-7B een zero-shot prestatie van 57,5 behaalt op de ReasonSeg benchmark, wat een verbetering van 18\% is ten opzichte van het vorige LISA-7B. Deze significante verbetering benadrukt het vermogen van Seg-Zero om te generaliseren over domeinen heen, terwijl het een expliciet redeneerproces presenteert. De code is beschikbaar op https://github.com/dvlab-research/Seg-Zero.

English

Traditional methods for reasoning segmentation rely on supervised fine-tuning with categorical labels and simple descriptions, limiting its out-of-domain generalization and lacking explicit reasoning processes. To address these limitations, we propose Seg-Zero, a novel framework that demonstrates remarkable generalizability and derives explicit chain-of-thought reasoning through cognitive reinforcement. Seg-Zero introduces a decoupled architecture consisting of a reasoning model and a segmentation model. The reasoning model interprets user intentions, generates explicit reasoning chains, and produces positional prompts, which are subsequently used by the segmentation model to generate precious pixel-level masks. We design a sophisticated reward mechanism that integrates both format and accuracy rewards to effectively guide optimization directions. Trained exclusively via reinforcement learning with GRPO and without explicit reasoning data, Seg-Zero achieves robust zero-shot generalization and exhibits emergent test-time reasoning capabilities. Experiments show that Seg-Zero-7B achieves a zero-shot performance of 57.5 on the ReasonSeg benchmark, surpassing the prior LISA-7B by 18\%. This significant improvement highlights Seg-Zero's ability to generalize across domains while presenting an explicit reasoning process. Code is available at https://github.com/dvlab-research/Seg-Zero.