Un clic por tipo celular es suficiente: Interacción de grupo sin entrenamiento para segmentación de instancias celulares

Resumen

Los modelos de segmentación de instancias celulares entrenados en conjuntos de datos específicos de células sufren graves caídas de rendimiento en tipos celulares fuera de distribución, mientras que los modelos fundamentales interactivos superan este problema mediante la indicación por instancia, a un costo prohibitivo para imágenes de histopatología que contienen cientos o miles de instancias densamente empaquetadas. Introducimos la Indicación por Grupo (Group Prompting), un nuevo paradigma que transforma la segmentación interactiva de O(N) por instancia a O(T) por tipo, donde un solo clic por tipo celular basta para segmentar todas las instancias de ese tipo. Nuestra observación clave es que el codificador de imágenes congelado del Segment Anything Model (SAM) ya agrupa células del mismo tipo en su espacio de características antes de recibir cualquier indicación. Aprovechando esta propiedad, proponemos Cadena de Indicaciones (Chain-of-Prompts, CoP), un marco sin entrenamiento que expande recursivamente un único clic del usuario mediante: (1) la identificación de ubicaciones fiables del mismo tipo a través de una compuerta no paramétrica de características del codificador multiescala, y (2) la selección del punto fiable más distante espacialmente como la siguiente indicación para maximizar la cobertura. En tres conjuntos de referencia con anotaciones de tipo celular, CoP con un clic por tipo conserva más del 90% del rendimiento por instancia y supera a los métodos totalmente supervisados sin entrenamiento adicional. En cuatro conjuntos de referencia morfológicamente homogéneos, un solo clic conserva más del 99%. Página del proyecto: https://shjo-april.github.io/Chain-of-Prompts/

English

Cell instance segmentation models trained on cell-specific datasets suffer severe performance drops on out-of-distribution cell types, while interactive foundation models overcome this through per-instance prompting at a cost that is prohibitively expensive for histopathology images containing hundreds to thousands of densely packed instances. We introduce Group Prompting, a new paradigm that shifts interactive segmentation from per-instance O(N) to per-type O(T), where a single click per cell type suffices to segment all instances of that type. Our key observation is that the frozen image encoder of the Segment Anything Model (SAM) already clusters same-type cells in its feature space before any prompt is given. Exploiting this property, we propose Chain-of-Prompts (CoP), a training-free framework that recursively expands a single user click by (1) identifying reliable same-type locations through non-parametric gating of multi-scale encoder features, and (2) selecting the most spatially distant reliable point as the next prompt to maximize coverage. On three cell-type-annotated benchmarks, CoP with one click per type retains over 90% of per-instance performance and surpasses fully-supervised methods without any additional training. On four morphologically homogeneous benchmarks, a single click retains over 99%. Project Page: https://shjo-april.github.io/Chain-of-Prompts/