IAUNet: U-Net с учетом экземпляров
IAUNet: Instance-Aware U-Net
August 3, 2025
Авторы: Yaroslav Prytula, Illia Tsiporenko, Ali Zeynalli, Dmytro Fishman
cs.AI
Аннотация
Сегментация экземпляров играет ключевую роль в биомедицинской визуализации для точного различения отдельных объектов, таких как клетки, которые часто перекрываются и варьируются по размеру. Недавние методы, основанные на запросах, где объектные запросы направляют процесс сегментации, продемонстрировали высокую производительность. Хотя U-Net долгое время оставался основной архитектурой для сегментации медицинских изображений, её потенциал в подходах, основанных на запросах, остаётся в значительной степени неисследованным. В данной работе мы представляем IAUNet — новую архитектуру U-Net, основанную на запросах. Основной дизайн включает полную архитектуру U-Net, улучшенную за счёт нового лёгкого свёрточного пиксельного декодера, что делает модель более эффективной и сокращает количество параметров. Кроме того, мы предлагаем трансформерный декодер, который уточняет объектно-специфичные признаки на нескольких масштабах. Наконец, мы представляем набор данных 2025 Revvity Full Cell Segmentation Dataset — уникальный ресурс с детальными аннотациями перекрывающихся цитоплазм клеток в изображениях в ярком поле, устанавливающий новый эталон для биомедицинской сегментации экземпляров. Эксперименты на нескольких публичных наборах данных и на наших собственных показывают, что IAUNet превосходит большинство современных полностью свёрточных, трансформерных и основанных на запросах моделей, а также моделей, специализированных на сегментации клеток, устанавливая сильный базовый уровень для задач сегментации экземпляров клеток. Код доступен по адресу https://github.com/SlavkoPrytula/IAUNet.
English
Instance segmentation is critical in biomedical imaging to accurately
distinguish individual objects like cells, which often overlap and vary in
size. Recent query-based methods, where object queries guide segmentation, have
shown strong performance. While U-Net has been a go-to architecture in medical
image segmentation, its potential in query-based approaches remains largely
unexplored. In this work, we present IAUNet, a novel query-based U-Net
architecture. The core design features a full U-Net architecture, enhanced by a
novel lightweight convolutional Pixel decoder, making the model more efficient
and reducing the number of parameters. Additionally, we propose a Transformer
decoder that refines object-specific features across multiple scales. Finally,
we introduce the 2025 Revvity Full Cell Segmentation Dataset, a unique resource
with detailed annotations of overlapping cell cytoplasm in brightfield images,
setting a new benchmark for biomedical instance segmentation. Experiments on
multiple public datasets and our own show that IAUNet outperforms most
state-of-the-art fully convolutional, transformer-based, and query-based models
and cell segmentation-specific models, setting a strong baseline for cell
instance segmentation tasks. Code is available at
https://github.com/SlavkoPrytula/IAUNet