Un clic par type de cellule suffit : Interaction de groupe sans entraînement pour la segmentation d'instances cellulaires

Résumé

Les modèles de segmentation d'instances cellulaires entraînés sur des jeux de données spécifiques subissent des baisses de performance sévères sur des types de cellules hors distribution, tandis que les modèles fondamentaux interactifs surmontent ce problème par une sollicitation par instance, à un coût prohibitif pour les images histopathologiques contenant des centaines voire des milliers d'instances densément regroupées. Nous introduisons le Prompting de Groupe, un nouveau paradigme qui fait passer la segmentation interactive de O(N) par instance à O(T) par type, où un seul clic par type de cellule suffit pour segmenter toutes les instances de ce type. Notre observation clé est que l'encodeur d'images figé du Segment Anything Model (SAM) regroupe déjà les cellules du même type dans son espace de caractéristiques avant même qu'un prompt ne soit donné. Exploitant cette propriété, nous proposons Chain-of-Prompts (CoP), un cadre sans entraînement qui étend récursivement un seul clic utilisateur en (1) identifiant des emplacements fiables du même type via un filtrage non paramétrique des caractéristiques multi-échelles de l'encodeur, et (2) sélectionnant le point fiable spatialement le plus distant comme prochain prompt afin de maximiser la couverture. Sur trois jeux de données de référence annotés par type de cellule, CoP avec un clic par type conserve plus de 90 % de la performance par instance et surpasse les méthodes entièrement supervisées sans aucun entraînement supplémentaire. Sur quatre jeux de données de référence morphologiquement homogènes, un seul clic conserve plus de 99 %. Page du projet : https://shjo-april.github.io/Chain-of-Prompts/

English

Cell instance segmentation models trained on cell-specific datasets suffer severe performance drops on out-of-distribution cell types, while interactive foundation models overcome this through per-instance prompting at a cost that is prohibitively expensive for histopathology images containing hundreds to thousands of densely packed instances. We introduce Group Prompting, a new paradigm that shifts interactive segmentation from per-instance O(N) to per-type O(T), where a single click per cell type suffices to segment all instances of that type. Our key observation is that the frozen image encoder of the Segment Anything Model (SAM) already clusters same-type cells in its feature space before any prompt is given. Exploiting this property, we propose Chain-of-Prompts (CoP), a training-free framework that recursively expands a single user click by (1) identifying reliable same-type locations through non-parametric gating of multi-scale encoder features, and (2) selecting the most spatially distant reliable point as the next prompt to maximize coverage. On three cell-type-annotated benchmarks, CoP with one click per type retains over 90% of per-instance performance and surpasses fully-supervised methods without any additional training. On four morphologically homogeneous benchmarks, a single click retains over 99%. Project Page: https://shjo-april.github.io/Chain-of-Prompts/