Seg-Zero: Segmentazione Guidata da Catene di Ragionamento tramite Rinforzo Cognitivo

Seg-Zero: Reasoning-Chain Guided Segmentation via Cognitive Reinforcement

March 9, 2025

Autori: Yuqi Liu, Bohao Peng, Zhisheng Zhong, Zihao Yue, Fanbin Lu, Bei Yu, Jiaya Jia

cs.AI

Abstract

I metodi tradizionali per la segmentazione ragionata si basano su un fine-tuning supervisionato con etichette categoriche e descrizioni semplici, limitando la generalizzazione fuori dominio e mancando di processi di ragionamento espliciti. Per affrontare queste limitazioni, proponiamo Seg-Zero, un nuovo framework che dimostra una notevole generalizzabilità e deriva un ragionamento esplicito a catena di pensiero attraverso il rinforzo cognitivo. Seg-Zero introduce un'architettura disaccoppiata composta da un modello di ragionamento e un modello di segmentazione. Il modello di ragionamento interpreta le intenzioni dell'utente, genera catene di ragionamento esplicite e produce prompt posizionali, che vengono successivamente utilizzati dal modello di segmentazione per generare preziose maschere a livello di pixel. Progettiamo un sofisticato meccanismo di ricompensa che integra sia ricompense di formato che di accuratezza per guidare efficacemente le direzioni di ottimizzazione. Addestrato esclusivamente tramite apprendimento per rinforzo con GRPO e senza dati di ragionamento espliciti, Seg-Zero raggiunge una robusta generalizzazione zero-shot e mostra capacità di ragionamento emergenti durante il test. Gli esperimenti dimostrano che Seg-Zero-7B raggiunge una performance zero-shot di 57.5 sul benchmark ReasonSeg, superando il precedente LISA-7B del 18\%. Questo significativo miglioramento evidenzia la capacità di Seg-Zero di generalizzare attraverso i domini presentando un processo di ragionamento esplicito. Il codice è disponibile all'indirizzo https://github.com/dvlab-research/Seg-Zero.

English

Traditional methods for reasoning segmentation rely on supervised fine-tuning with categorical labels and simple descriptions, limiting its out-of-domain generalization and lacking explicit reasoning processes. To address these limitations, we propose Seg-Zero, a novel framework that demonstrates remarkable generalizability and derives explicit chain-of-thought reasoning through cognitive reinforcement. Seg-Zero introduces a decoupled architecture consisting of a reasoning model and a segmentation model. The reasoning model interprets user intentions, generates explicit reasoning chains, and produces positional prompts, which are subsequently used by the segmentation model to generate precious pixel-level masks. We design a sophisticated reward mechanism that integrates both format and accuracy rewards to effectively guide optimization directions. Trained exclusively via reinforcement learning with GRPO and without explicit reasoning data, Seg-Zero achieves robust zero-shot generalization and exhibits emergent test-time reasoning capabilities. Experiments show that Seg-Zero-7B achieves a zero-shot performance of 57.5 on the ReasonSeg benchmark, surpassing the prior LISA-7B by 18\%. This significant improvement highlights Seg-Zero's ability to generalize across domains while presenting an explicit reasoning process. Code is available at https://github.com/dvlab-research/Seg-Zero.