IAUNet: U-Net com Consciência de Instância

Resumo

A segmentação de instâncias é crucial em imagens biomédicas para distinguir com precisão objetos individuais, como células, que frequentemente se sobrepõem e variam em tamanho. Métodos recentes baseados em consultas, onde consultas de objetos orientam a segmentação, têm demonstrado um desempenho robusto. Embora a U-Net tenha sido uma arquitetura amplamente utilizada na segmentação de imagens médicas, seu potencial em abordagens baseadas em consultas permanece em grande parte inexplorado. Neste trabalho, apresentamos a IAUNet, uma nova arquitetura U-Net baseada em consultas. O design central apresenta uma arquitetura U-Net completa, aprimorada por um novo decodificador de pixels convolucional leve, tornando o modelo mais eficiente e reduzindo o número de parâmetros. Além disso, propomos um decodificador Transformer que refina características específicas de objetos em múltiplas escalas. Por fim, introduzimos o Conjunto de Dados de Segmentação Completa de Células Revvity 2025, um recurso único com anotações detalhadas do citoplasma de células sobrepostas em imagens de campo claro, estabelecendo um novo padrão para a segmentação de instâncias biomédicas. Experimentos em múltiplos conjuntos de dados públicos e em nosso próprio mostram que a IAUNet supera a maioria dos modelos totalmente convolucionais, baseados em transformers e em consultas, bem como modelos específicos para segmentação de células, estabelecendo uma forte referência para tarefas de segmentação de instâncias de células. O código está disponível em https://github.com/SlavkoPrytula/IAUNet.

English

Instance segmentation is critical in biomedical imaging to accurately distinguish individual objects like cells, which often overlap and vary in size. Recent query-based methods, where object queries guide segmentation, have shown strong performance. While U-Net has been a go-to architecture in medical image segmentation, its potential in query-based approaches remains largely unexplored. In this work, we present IAUNet, a novel query-based U-Net architecture. The core design features a full U-Net architecture, enhanced by a novel lightweight convolutional Pixel decoder, making the model more efficient and reducing the number of parameters. Additionally, we propose a Transformer decoder that refines object-specific features across multiple scales. Finally, we introduce the 2025 Revvity Full Cell Segmentation Dataset, a unique resource with detailed annotations of overlapping cell cytoplasm in brightfield images, setting a new benchmark for biomedical instance segmentation. Experiments on multiple public datasets and our own show that IAUNet outperforms most state-of-the-art fully convolutional, transformer-based, and query-based models and cell segmentation-specific models, setting a strong baseline for cell instance segmentation tasks. Code is available at https://github.com/SlavkoPrytula/IAUNet

IAUNet: U-Net com Consciência de Instância

IAUNet: Instance-Aware U-Net

Resumo

Support