Conversationele Beeldsegmentatie: Het Verankeren van Abstracte Concepten met Schaalbaar Toezicht
Conversational Image Segmentation: Grounding Abstract Concepts with Scalable Supervision
February 13, 2026
Auteurs: Aadarsh Sahoo, Georgia Gkioxari
cs.AI
Samenvatting
Conversationele beeldsegmentatie vertaalt abstracte, op intentie gebaseerde concepten naar pixelprecieze maskers. Eerder werk over verwijzende beeldverankering richt zich op categorische en ruimtelijke vragen (bijv. "het meest linkse appel") en negeert functioneel en fysiek redeneren (bijv. "waar kan ik het mes veilig opbergen?"). Wij adresseren deze leemte en introduceren Conversationele Beeldsegmentatie (CIS) en ConverSeg, een benchmark die entiteiten, ruimtelijke relaties, intentie, affordanties, functies, veiligheid en fysiek redeneren omvat. We presenteren ook ConverSeg-Net, dat sterke segmentatiepriors integreert met taalbegrip, en een AI-gestuurde data-engine die prompt-maskerparen genereert zonder menselijk toezicht. We tonen aan dat huidige taalgestuurde segmentatiemodellen ontoereikend zijn voor CIS, terwijl ConverSeg-Net, getraind op onze data-engine, aanzienlijke vooruitgang boekt op ConverSeg en sterke prestaties behoudt op bestaande taalgestuurde segmentatiebenchmarks. Projectwebpagina: https://glab-caltech.github.io/converseg/
English
Conversational image segmentation grounds abstract, intent-driven concepts into pixel-accurate masks. Prior work on referring image grounding focuses on categorical and spatial queries (e.g., "left-most apple") and overlooks functional and physical reasoning (e.g., "where can I safely store the knife?"). We address this gap and introduce Conversational Image Segmentation (CIS) and ConverSeg, a benchmark spanning entities, spatial relations, intent, affordances, functions, safety, and physical reasoning. We also present ConverSeg-Net, which fuses strong segmentation priors with language understanding, and an AI-powered data engine that generates prompt-mask pairs without human supervision. We show that current language-guided segmentation models are inadequate for CIS, while ConverSeg-Net trained on our data engine achieves significant gains on ConverSeg and maintains strong performance on existing language-guided segmentation benchmarks. Project webpage: https://glab-caltech.github.io/converseg/