IAUNet: U-Net con Consapevolezza delle Istanze

Abstract

La segmentazione di istanze è fondamentale nell'imaging biomedico per distinguere accuratamente oggetti individuali come le cellule, che spesso si sovrappongono e variano in dimensioni. I recenti metodi basati su query, in cui le query di oggetti guidano la segmentazione, hanno dimostrato prestazioni eccellenti. Sebbene U-Net sia stata un'architettura di riferimento nella segmentazione di immagini mediche, il suo potenziale negli approcci basati su query rimane in gran parte inesplorato. In questo lavoro, presentiamo IAUNet, una nuova architettura U-Net basata su query. Il design principale presenta una completa architettura U-Net, potenziata da un nuovo Pixel decoder convoluzionale leggero, rendendo il modello più efficiente e riducendo il numero di parametri. Inoltre, proponiamo un decoder Transformer che affina le caratteristiche specifiche degli oggetti su più scale. Infine, introduciamo il 2025 Revvity Full Cell Segmentation Dataset, una risorsa unica con annotazioni dettagliate del citoplasma cellulare sovrapposto in immagini in campo chiaro, stabilendo un nuovo punto di riferimento per la segmentazione di istanze biomediche. Esperimenti su più dataset pubblici e sul nostro dimostrano che IAUNet supera la maggior parte dei modelli all'avanguardia completamente convoluzionali, basati su transformer e su query, nonché i modelli specifici per la segmentazione cellulare, stabilendo una solida baseline per i compiti di segmentazione di istanze cellulari. Il codice è disponibile all'indirizzo https://github.com/SlavkoPrytula/IAUNet.

English

Instance segmentation is critical in biomedical imaging to accurately distinguish individual objects like cells, which often overlap and vary in size. Recent query-based methods, where object queries guide segmentation, have shown strong performance. While U-Net has been a go-to architecture in medical image segmentation, its potential in query-based approaches remains largely unexplored. In this work, we present IAUNet, a novel query-based U-Net architecture. The core design features a full U-Net architecture, enhanced by a novel lightweight convolutional Pixel decoder, making the model more efficient and reducing the number of parameters. Additionally, we propose a Transformer decoder that refines object-specific features across multiple scales. Finally, we introduce the 2025 Revvity Full Cell Segmentation Dataset, a unique resource with detailed annotations of overlapping cell cytoplasm in brightfield images, setting a new benchmark for biomedical instance segmentation. Experiments on multiple public datasets and our own show that IAUNet outperforms most state-of-the-art fully convolutional, transformer-based, and query-based models and cell segmentation-specific models, setting a strong baseline for cell instance segmentation tasks. Code is available at https://github.com/SlavkoPrytula/IAUNet

IAUNet: U-Net con Consapevolezza delle Istanze

IAUNet: Instance-Aware U-Net

Abstract

Support