Synth-SONAR : Synthèse d'images sonar avec une diversité et un réalisme améliorés via des modèles de diffusion doubles et des incitations GPT

Synth-SONAR: Sonar Image Synthesis with Enhanced Diversity and Realism via Dual Diffusion Models and GPT Prompting

October 11, 2024

Auteurs: Purushothaman Natarajan, Kamal Basha, Athira Nambiar

cs.AI

Résumé

La synthèse d'images sonar est cruciale pour faire progresser les applications en exploration sous-marine, en biologie marine et en défense. Les méthodes traditionnelles reposent souvent sur une collecte de données extensive et coûteuse à l'aide de capteurs sonar, compromettant la qualité et la diversité des données. Pour surmonter ces limitations, cette étude propose un nouveau cadre de synthèse d'images sonar, Synth-SONAR, exploitant des modèles de diffusion et des incitations GPT. Les principales nouveautés de Synth-SONAR sont triples : Premièrement, en intégrant des techniques d'injection de style basées sur l'IA générative avec des données réelles/simulées disponibles publiquement, produisant ainsi l'un des plus grands corpus de données sonar pour la recherche sonar. Deuxièmement, une hiérarchie de modèles de diffusion sonar à double conditionnement textuel synthétise des images sonar grossières et détaillées avec une qualité et une diversité améliorées. Troisièmement, des méthodes de génération sonar basées sur du texte de haut niveau (grossier) et de bas niveau (détaillé) exploitent des informations sémantiques avancées disponibles dans les modèles de langage visuel (VLM) et les incitations GPT. Lors de l'inférence, la méthode génère des images sonar diverses et réalistes à partir de consignes textuelles, comblant ainsi l'écart entre les descriptions textuelles et la génération d'images sonar. Cela marque l'application des incitations GPT dans l'imagerie sonar pour la première fois, à notre connaissance. Synth-SONAR obtient des résultats de pointe dans la production de jeux de données sonar synthétiques de haute qualité, améliorant significativement leur diversité et leur réalisme.

English

Sonar image synthesis is crucial for advancing applications in underwater exploration, marine biology, and defence. Traditional methods often rely on extensive and costly data collection using sonar sensors, jeopardizing data quality and diversity. To overcome these limitations, this study proposes a new sonar image synthesis framework, Synth-SONAR leveraging diffusion models and GPT prompting. The key novelties of Synth-SONAR are threefold: First, by integrating Generative AI-based style injection techniques along with publicly available real/simulated data, thereby producing one of the largest sonar data corpus for sonar research. Second, a dual text-conditioning sonar diffusion model hierarchy synthesizes coarse and fine-grained sonar images with enhanced quality and diversity. Third, high-level (coarse) and low-level (detailed) text-based sonar generation methods leverage advanced semantic information available in visual language models (VLMs) and GPT-prompting. During inference, the method generates diverse and realistic sonar images from textual prompts, bridging the gap between textual descriptions and sonar image generation. This marks the application of GPT-prompting in sonar imagery for the first time, to the best of our knowledge. Synth-SONAR achieves state-of-the-art results in producing high-quality synthetic sonar datasets, significantly enhancing their diversity and realism.