IAUNet: Instance-Aware U-Net

Samenvatting

Instance segmentation is van cruciaal belang in biomedische beeldvorming om individuele objecten zoals cellen nauwkeurig te onderscheiden, die vaak overlappen en in grootte variëren. Recente query-gebaseerde methoden, waarbij objectqueries de segmentatie sturen, hebben sterke prestaties getoond. Hoewel U-Net een veelgebruikte architectuur is in medische beeldsegmentatie, blijft het potentieel ervan in query-gebaseerde benaderingen grotendeels onontgonnen. In dit werk presenteren we IAUNet, een nieuwe query-gebaseerde U-Net-architectuur. De kern van het ontwerp bestaat uit een volledige U-Net-architectuur, versterkt door een nieuwe lichtgewicht convolutionele Pixel-decoder, waardoor het model efficiënter wordt en het aantal parameters wordt verminderd. Daarnaast stellen we een Transformer-decoder voor die object-specifieke kenmerken verfijnt over meerdere schalen. Tot slot introduceren we de 2025 Revvity Full Cell Segmentation Dataset, een unieke bron met gedetailleerde annotaties van overlappende celcytoplasma in helderveldbeelden, wat een nieuwe standaard zet voor biomedische instance segmentation. Experimenten op meerdere openbare datasets en onze eigen dataset tonen aan dat IAUNet de meeste state-of-the-art volledig convolutionele, transformer-gebaseerde en query-gebaseerde modellen, evenals celsegmentatie-specifieke modellen, overtreft, en zo een sterke basis legt voor cel instance segmentation-taken. De code is beschikbaar op https://github.com/SlavkoPrytula/IAUNet.

English

Instance segmentation is critical in biomedical imaging to accurately distinguish individual objects like cells, which often overlap and vary in size. Recent query-based methods, where object queries guide segmentation, have shown strong performance. While U-Net has been a go-to architecture in medical image segmentation, its potential in query-based approaches remains largely unexplored. In this work, we present IAUNet, a novel query-based U-Net architecture. The core design features a full U-Net architecture, enhanced by a novel lightweight convolutional Pixel decoder, making the model more efficient and reducing the number of parameters. Additionally, we propose a Transformer decoder that refines object-specific features across multiple scales. Finally, we introduce the 2025 Revvity Full Cell Segmentation Dataset, a unique resource with detailed annotations of overlapping cell cytoplasm in brightfield images, setting a new benchmark for biomedical instance segmentation. Experiments on multiple public datasets and our own show that IAUNet outperforms most state-of-the-art fully convolutional, transformer-based, and query-based models and cell segmentation-specific models, setting a strong baseline for cell instance segmentation tasks. Code is available at https://github.com/SlavkoPrytula/IAUNet