Um Clique por Tipo de Célula é Suficiente: Interação em Grupo Sem Treinamento para Segmentação de Instâncias de Células

Resumo

Modelos de segmentação de instâncias celulares treinados em conjuntos de dados específicos para células sofrem quedas severas de desempenho em tipos celulares fora da distribuição, enquanto modelos fundamentais interativos superam esse problema por meio de prompts por instância, a um custo proibitivamente alto para imagens histopatológicas contendo centenas a milhares de instâncias densamente agrupadas. Apresentamos o Agrupamento por Prompts (Group Prompting), um novo paradigma que transforma a segmentação interativa do custo O(N) por instância para O(T) por tipo, onde um único clique por tipo celular é suficiente para segmentar todas as instâncias desse tipo. Nossa observação-chave é que o codificador de imagem congelado do Segment Anything Model (SAM) já agrupa células do mesmo tipo em seu espaço de características antes de qualquer prompt ser fornecido. Explorando essa propriedade, propomos a Cadeia de Prompts (Chain-of-Prompts, CoP), uma estrutura livre de treinamento que expande recursivamente um único clique do usuário por meio de (1) identificação de locais confiáveis do mesmo tipo via filtragem não paramétrica de características do codificador multiescala, e (2) seleção do ponto confiável mais distante espacialmente como o próximo prompt para maximizar a cobertura. Em três benchmarks anotados por tipo celular, a CoP com um clique por tipo mantém mais de 90% do desempenho por instância e supera métodos totalmente supervisionados sem qualquer treinamento adicional. Em quatro benchmarks morfologicamente homogêneos, um único clique mantém mais de 99%. Página do Projeto: https://shjo-april.github.io/Chain-of-Prompts/

English

Cell instance segmentation models trained on cell-specific datasets suffer severe performance drops on out-of-distribution cell types, while interactive foundation models overcome this through per-instance prompting at a cost that is prohibitively expensive for histopathology images containing hundreds to thousands of densely packed instances. We introduce Group Prompting, a new paradigm that shifts interactive segmentation from per-instance O(N) to per-type O(T), where a single click per cell type suffices to segment all instances of that type. Our key observation is that the frozen image encoder of the Segment Anything Model (SAM) already clusters same-type cells in its feature space before any prompt is given. Exploiting this property, we propose Chain-of-Prompts (CoP), a training-free framework that recursively expands a single user click by (1) identifying reliable same-type locations through non-parametric gating of multi-scale encoder features, and (2) selecting the most spatially distant reliable point as the next prompt to maximize coverage. On three cell-type-annotated benchmarks, CoP with one click per type retains over 90% of per-instance performance and surpasses fully-supervised methods without any additional training. On four morphologically homogeneous benchmarks, a single click retains over 99%. Project Page: https://shjo-april.github.io/Chain-of-Prompts/