Одного клика на тип клеток достаточно: групповое взаимодействие без обучения для сегментации экземпляров клеток

Аннотация

Модели сегментации клеточных экземпляров, обученные на специфических для клеток наборах данных, демонстрируют значительное падение производительности на клеточных типах, не входящих в распределение обучающей выборки, в то время как интерактивные фундаментальные модели преодолевают это ограничение с помощью поточечного подсказывания, однако его стоимость оказывается непомерно высокой для гистопатологических изображений, содержащих сотни и тысячи плотно упакованных экземпляров. Мы представляем групповое подсказывание (Group Prompting) — новую парадигму, которая переводит интерактивную сегментацию от поточечной сложности O(N) к сложности по типам O(T), где одного щелчка на тип клетки достаточно для сегментации всех экземпляров этого типа. Ключевое наблюдение заключается в том, что замороженный кодировщик изображений модели Segment Anything (SAM) уже группирует клетки одного типа в своем пространстве признаков до того, как будет дана какая-либо подсказка. Используя это свойство, мы предлагаем цепочку подсказок (Chain-of-Prompts, CoP) — фреймворк без обучения, который рекурсивно расширяет один пользовательский щелчок путем (1) выявления надежных местоположений того же типа с помощью непараметрического стробирования многоуровневых признаков кодировщика и (2) выбора наиболее пространственно удаленной надежной точки в качестве следующей подсказки для максимизации покрытия. На трех эталонных наборах данных с аннотациями типов клеток CoP с одним щелчком на тип сохраняет более 90% производительности поточечного подхода и превосходит методы полного обучения без какого-либо дополнительного обучения. На четырех эталонных наборах данных с морфологической однородностью одного щелчка достаточно для сохранения более 99% производительности. Страница проекта: https://shjo-april.github.io/Chain-of-Prompts/

English

Cell instance segmentation models trained on cell-specific datasets suffer severe performance drops on out-of-distribution cell types, while interactive foundation models overcome this through per-instance prompting at a cost that is prohibitively expensive for histopathology images containing hundreds to thousands of densely packed instances. We introduce Group Prompting, a new paradigm that shifts interactive segmentation from per-instance O(N) to per-type O(T), where a single click per cell type suffices to segment all instances of that type. Our key observation is that the frozen image encoder of the Segment Anything Model (SAM) already clusters same-type cells in its feature space before any prompt is given. Exploiting this property, we propose Chain-of-Prompts (CoP), a training-free framework that recursively expands a single user click by (1) identifying reliable same-type locations through non-parametric gating of multi-scale encoder features, and (2) selecting the most spatially distant reliable point as the next prompt to maximize coverage. On three cell-type-annotated benchmarks, CoP with one click per type retains over 90% of per-instance performance and surpasses fully-supervised methods without any additional training. On four morphologically homogeneous benchmarks, a single click retains over 99%. Project Page: https://shjo-april.github.io/Chain-of-Prompts/