Синтез изображений сонара с улучшенным разнообразием и реализмом через двойные модели диффузии и подсказки GPT

Synth-SONAR: Sonar Image Synthesis with Enhanced Diversity and Realism via Dual Diffusion Models and GPT Prompting

October 11, 2024

Авторы: Purushothaman Natarajan, Kamal Basha, Athira Nambiar

cs.AI

Аннотация

Синтез изображений с помощью сонара имеет важное значение для развития приложений в области подводного исследования, морской биологии и обороны. Традиционные методы часто полагаются на обширную и дорогостоящую сборку данных с использованием гидролокационных датчиков, подвергая качество и разнообразие данных риску. Для преодоления этих ограничений в данном исследовании предлагается новая структура синтеза изображений с помощью сонара, Synth-SONAR, использующая модели диффузии и подсказки GPT. Основные новшества Synth-SONAR тройные: Во-первых, путем интеграции техник внедрения стиля на основе генеративного искусственного интеллекта с использованием публично доступных реальных/симулированных данных, что позволяет создать один из крупнейших корпусов данных по сонару для исследований в области сонара. Во-вторых, иерархия двойной текстовой кондиционированной модели диффузии сонара синтезирует грубые и мелкозернистые изображения сонара с улучшенным качеством и разнообразием. В-третьих, методы генерации сонара на основе текста высокого уровня (грубые) и низкого уровня (детализированные) используют передовую семантическую информацию, доступную визуальным языковым моделям (VLM) и подсказки GPT. В процессе вывода метод генерирует разнообразные и реалистичные изображения сонара из текстовых подсказок, сокращая разрыв между текстовыми описаниями и генерацией изображений сонара. Это является первым, насколько нам известно, применением подсказок GPT в области изображений сонара. Synth-SONAR достигает передовых результатов в создании высококачественных синтетических наборов данных по сонару, значительно улучшая их разнообразие и реализм.

English

Sonar image synthesis is crucial for advancing applications in underwater exploration, marine biology, and defence. Traditional methods often rely on extensive and costly data collection using sonar sensors, jeopardizing data quality and diversity. To overcome these limitations, this study proposes a new sonar image synthesis framework, Synth-SONAR leveraging diffusion models and GPT prompting. The key novelties of Synth-SONAR are threefold: First, by integrating Generative AI-based style injection techniques along with publicly available real/simulated data, thereby producing one of the largest sonar data corpus for sonar research. Second, a dual text-conditioning sonar diffusion model hierarchy synthesizes coarse and fine-grained sonar images with enhanced quality and diversity. Third, high-level (coarse) and low-level (detailed) text-based sonar generation methods leverage advanced semantic information available in visual language models (VLMs) and GPT-prompting. During inference, the method generates diverse and realistic sonar images from textual prompts, bridging the gap between textual descriptions and sonar image generation. This marks the application of GPT-prompting in sonar imagery for the first time, to the best of our knowledge. Synth-SONAR achieves state-of-the-art results in producing high-quality synthetic sonar datasets, significantly enhancing their diversity and realism.