Eén klik per celtype volstaat: trainingsvrije groepsinteractie voor celinstantiesegmentatie

Samenvatting

Celinstantiesegmentatiemodellen die zijn getraind op celspecifieke datasets, ondervinden ernstige prestatieverliezen bij celtypen die buiten de distributie vallen, terwijl interactieve funderingsmodellen dit probleem omzeilen door per-instantie prompting, tegen een kostprijs die ontoelaatbaar hoog is voor histopathologiebeelden met honderden tot duizenden dicht opeengepakte instanties. Wij introduceren Groep Prompting, een nieuw paradigma dat interactieve segmentatie verschuift van per-instantie O(N) naar per-type O(T), waarbij één enkele klik per celtype volstaat om alle instanties van dat type te segmenteren. Onze belangrijkste observatie is dat de bevroren beeldencoder van het Segment Anything Model (SAM) reeds cellen van hetzelfde type in zijn kenmerkenruimte clustert voordat er een prompt wordt gegeven. Door deze eigenschap te benutten, stellen wij Chain-of-Prompts (CoP) voor, een trainingsvrij raamwerk dat een enkele gebruikersklik recursief uitbreidt door (1) betrouwbare locaties van hetzelfde type te identificeren via niet-parametrische poortvorming van multischaal-encoderkenmerken, en (2) het ruimtelijk meest ver verwijderde betrouwbare punt te selecteren als de volgende prompt om de dekking te maximaliseren. Op drie benchmarks met celtype-annotaties behoudt CoP met één klik per type meer dan 90% van de per-instantie prestaties en overtreft het volledig begeleide methoden zonder enige extra training. Op vier morfologisch homogene benchmarks behoudt één enkele klik meer dan 99%. Projectpagina: https://shjo-april.github.io/Chain-of-Prompts/

English

Cell instance segmentation models trained on cell-specific datasets suffer severe performance drops on out-of-distribution cell types, while interactive foundation models overcome this through per-instance prompting at a cost that is prohibitively expensive for histopathology images containing hundreds to thousands of densely packed instances. We introduce Group Prompting, a new paradigm that shifts interactive segmentation from per-instance O(N) to per-type O(T), where a single click per cell type suffices to segment all instances of that type. Our key observation is that the frozen image encoder of the Segment Anything Model (SAM) already clusters same-type cells in its feature space before any prompt is given. Exploiting this property, we propose Chain-of-Prompts (CoP), a training-free framework that recursively expands a single user click by (1) identifying reliable same-type locations through non-parametric gating of multi-scale encoder features, and (2) selecting the most spatially distant reliable point as the next prompt to maximize coverage. On three cell-type-annotated benchmarks, CoP with one click per type retains over 90% of per-instance performance and surpasses fully-supervised methods without any additional training. On four morphologically homogeneous benchmarks, a single click retains over 99%. Project Page: https://shjo-april.github.io/Chain-of-Prompts/