IAUNet: Instanzbewusstes U-Net
IAUNet: Instance-Aware U-Net
August 3, 2025
papers.authors: Yaroslav Prytula, Illia Tsiporenko, Ali Zeynalli, Dmytro Fishman
cs.AI
papers.abstract
Die Instanzsegmentierung ist in der biomedizinischen Bildgebung entscheidend, um einzelne Objekte wie Zellen, die sich häufig überlappen und in ihrer Größe variieren, präzise zu unterscheiden. Neuere, abfragebasierte Methoden, bei denen Objektabfragen die Segmentierung steuern, haben eine starke Leistung gezeigt. Während U-Net eine etablierte Architektur in der medizinischen Bildsegmentierung ist, bleibt sein Potenzial in abfragebasierten Ansätzen weitgehend unerforscht. In dieser Arbeit präsentieren wir IAUNet, eine neuartige abfragebasierte U-Net-Architektur. Das Kernkonzept umfasst eine vollständige U-Net-Architektur, die durch einen neuartigen, leichtgewichtigen konvolutionellen Pixel-Decoder erweitert wird, wodurch das Modell effizienter wird und die Anzahl der Parameter reduziert wird. Zusätzlich schlagen wir einen Transformer-Decoder vor, der objektspezifische Merkmale über mehrere Skalen hinweg verfeinert. Schließlich stellen wir das 2025 Revvity Full Cell Segmentation Dataset vor, eine einzigartige Ressource mit detaillierten Annotationen von sich überlappenden Zellzytoplasmen in Hellfeldbildern, die einen neuen Maßstab für die biomedizinische Instanzsegmentierung setzt. Experimente auf mehreren öffentlichen Datensätzen sowie unseren eigenen zeigen, dass IAUNet die meisten state-of-the-art vollständig konvolutionellen, transformerbasierten und abfragebasierten Modelle sowie zellspezifische Segmentierungsmodelle übertrifft und somit eine solide Grundlage für Zellinstanzsegmentierungsaufgaben schafft. Der Code ist verfügbar unter https://github.com/SlavkoPrytula/IAUNet.
English
Instance segmentation is critical in biomedical imaging to accurately
distinguish individual objects like cells, which often overlap and vary in
size. Recent query-based methods, where object queries guide segmentation, have
shown strong performance. While U-Net has been a go-to architecture in medical
image segmentation, its potential in query-based approaches remains largely
unexplored. In this work, we present IAUNet, a novel query-based U-Net
architecture. The core design features a full U-Net architecture, enhanced by a
novel lightweight convolutional Pixel decoder, making the model more efficient
and reducing the number of parameters. Additionally, we propose a Transformer
decoder that refines object-specific features across multiple scales. Finally,
we introduce the 2025 Revvity Full Cell Segmentation Dataset, a unique resource
with detailed annotations of overlapping cell cytoplasm in brightfield images,
setting a new benchmark for biomedical instance segmentation. Experiments on
multiple public datasets and our own show that IAUNet outperforms most
state-of-the-art fully convolutional, transformer-based, and query-based models
and cell segmentation-specific models, setting a strong baseline for cell
instance segmentation tasks. Code is available at
https://github.com/SlavkoPrytula/IAUNet