Seg-Zero : Segmentation guidée par chaîne de raisonnement via renforcement cognitif

Seg-Zero: Reasoning-Chain Guided Segmentation via Cognitive Reinforcement

March 9, 2025

Auteurs: Yuqi Liu, Bohao Peng, Zhisheng Zhong, Zihao Yue, Fanbin Lu, Bei Yu, Jiaya Jia

cs.AI

Résumé

Les méthodes traditionnelles pour la segmentation raisonnée reposent sur un ajustement fin supervisé avec des étiquettes catégorielles et des descriptions simples, limitant ainsi leur généralisation hors domaine et manquant de processus de raisonnement explicites. Pour remédier à ces limitations, nous proposons Seg-Zero, un nouveau cadre qui démontre une généralisation remarquable et dérive un raisonnement explicite en chaîne de pensée grâce à un renforcement cognitif. Seg-Zero introduit une architecture découplée composée d'un modèle de raisonnement et d'un modèle de segmentation. Le modèle de raisonnement interprète les intentions de l'utilisateur, génère des chaînes de raisonnement explicites et produit des invites positionnelles, qui sont ensuite utilisées par le modèle de segmentation pour générer des masques précis au niveau des pixels. Nous concevons un mécanisme de récompense sophistiqué qui intègre à la fois des récompenses de format et de précision pour guider efficacement les directions d'optimisation. Entraîné exclusivement via l'apprentissage par renforcement avec GRPO et sans données de raisonnement explicites, Seg-Zero atteint une généralisation robuste en zero-shot et présente des capacités de raisonnement émergentes lors des tests. Les expériences montrent que Seg-Zero-7B atteint une performance en zero-shot de 57,5 sur le benchmark ReasonSeg, surpassant le précédent LISA-7B de 18\%. Cette amélioration significative met en évidence la capacité de Seg-Zero à généraliser à travers les domaines tout en présentant un processus de raisonnement explicite. Le code est disponible à l'adresse https://github.com/dvlab-research/Seg-Zero.

English

Traditional methods for reasoning segmentation rely on supervised fine-tuning with categorical labels and simple descriptions, limiting its out-of-domain generalization and lacking explicit reasoning processes. To address these limitations, we propose Seg-Zero, a novel framework that demonstrates remarkable generalizability and derives explicit chain-of-thought reasoning through cognitive reinforcement. Seg-Zero introduces a decoupled architecture consisting of a reasoning model and a segmentation model. The reasoning model interprets user intentions, generates explicit reasoning chains, and produces positional prompts, which are subsequently used by the segmentation model to generate precious pixel-level masks. We design a sophisticated reward mechanism that integrates both format and accuracy rewards to effectively guide optimization directions. Trained exclusively via reinforcement learning with GRPO and without explicit reasoning data, Seg-Zero achieves robust zero-shot generalization and exhibits emergent test-time reasoning capabilities. Experiments show that Seg-Zero-7B achieves a zero-shot performance of 57.5 on the ReasonSeg benchmark, surpassing the prior LISA-7B by 18\%. This significant improvement highlights Seg-Zero's ability to generalize across domains while presenting an explicit reasoning process. Code is available at https://github.com/dvlab-research/Seg-Zero.