Seg-Zero: Segmentación Guiada por Cadenas de Razonamiento mediante Refuerzo Cognitivo

Seg-Zero: Reasoning-Chain Guided Segmentation via Cognitive Reinforcement

March 9, 2025

Autores: Yuqi Liu, Bohao Peng, Zhisheng Zhong, Zihao Yue, Fanbin Lu, Bei Yu, Jiaya Jia

cs.AI

Resumen

Los métodos tradicionales para la segmentación basada en razonamiento dependen de un ajuste fino supervisado con etiquetas categóricas y descripciones simples, lo que limita su generalización fuera del dominio y carece de procesos de razonamiento explícitos. Para abordar estas limitaciones, proponemos Seg-Zero, un marco novedoso que demuestra una generalización notable y deriva cadenas de razonamiento explícitas a través de refuerzo cognitivo. Seg-Zero introduce una arquitectura desacoplada que consta de un modelo de razonamiento y un modelo de segmentación. El modelo de razonamiento interpreta las intenciones del usuario, genera cadenas de razonamiento explícitas y produce indicaciones posicionales, que luego son utilizadas por el modelo de segmentación para generar máscaras a nivel de píxel precisas. Diseñamos un mecanismo de recompensa sofisticado que integra tanto recompensas de formato como de precisión para guiar efectivamente las direcciones de optimización. Entrenado exclusivamente mediante aprendizaje por refuerzo con GRPO y sin datos de razonamiento explícitos, Seg-Zero logra una generalización robusta en zero-shot y exhibe capacidades emergentes de razonamiento en tiempo de prueba. Los experimentos muestran que Seg-Zero-7B alcanza un rendimiento en zero-shot de 57.5 en el benchmark ReasonSeg, superando al anterior LISA-7B en un 18\%. Esta mejora significativa resalta la capacidad de Seg-Zero para generalizar entre dominios mientras presenta un proceso de razonamiento explícito. El código está disponible en https://github.com/dvlab-research/Seg-Zero.

English

Traditional methods for reasoning segmentation rely on supervised fine-tuning with categorical labels and simple descriptions, limiting its out-of-domain generalization and lacking explicit reasoning processes. To address these limitations, we propose Seg-Zero, a novel framework that demonstrates remarkable generalizability and derives explicit chain-of-thought reasoning through cognitive reinforcement. Seg-Zero introduces a decoupled architecture consisting of a reasoning model and a segmentation model. The reasoning model interprets user intentions, generates explicit reasoning chains, and produces positional prompts, which are subsequently used by the segmentation model to generate precious pixel-level masks. We design a sophisticated reward mechanism that integrates both format and accuracy rewards to effectively guide optimization directions. Trained exclusively via reinforcement learning with GRPO and without explicit reasoning data, Seg-Zero achieves robust zero-shot generalization and exhibits emergent test-time reasoning capabilities. Experiments show that Seg-Zero-7B achieves a zero-shot performance of 57.5 on the ReasonSeg benchmark, surpassing the prior LISA-7B by 18\%. This significant improvement highlights Seg-Zero's ability to generalize across domains while presenting an explicit reasoning process. Code is available at https://github.com/dvlab-research/Seg-Zero.