Synth-SONAR: Sintesi di immagini sonar con maggiore diversità e realismo tramite modelli di diffusione duali e GPT Prompting.

Synth-SONAR: Sonar Image Synthesis with Enhanced Diversity and Realism via Dual Diffusion Models and GPT Prompting

October 11, 2024

Autori: Purushothaman Natarajan, Kamal Basha, Athira Nambiar

cs.AI

Abstract

La sintesi di immagini sonar è cruciale per far progredire le applicazioni nell'esplorazione subacquea, nella biologia marina e nella difesa. I metodi tradizionali spesso si basano su una raccolta dati estesa e costosa utilizzando sensori sonar, mettendo a rischio la qualità e la diversità dei dati. Per superare queste limitazioni, questo studio propone un nuovo framework di sintesi di immagini sonar, Synth-SONAR, sfruttando modelli di diffusione e GPT prompting. Le principali novità di Synth-SONAR sono tre: Primo, integrando tecniche di iniezione di stile basate su AI generative insieme a dati reali/simulati disponibili pubblicamente, producendo così uno dei più grandi corpi di dati sonar per la ricerca sonar. Secondo, una gerarchia di modelli di diffusione sonar a doppio condizionamento testuale sintetizza immagini sonar grossolane e dettagliate con qualità e diversità migliorate. Terzo, metodi di generazione sonar basati su testo a livello alto (grosso) e basso (dettagliato) sfruttano informazioni semantiche avanzate disponibili nei modelli di linguaggio visivo (VLMs) e GPT-prompting. Durante l'inferenza, il metodo genera immagini sonar diverse e realistiche da prompt testuali, colmando il divario tra descrizioni testuali e generazione di immagini sonar. Questo segna l'applicazione del GPT-prompting nell'immagine sonar per la prima volta, per quanto ne sappiamo. Synth-SONAR raggiunge risultati all'avanguardia nella produzione di set di dati sonar sintetici di alta qualità, migliorandone significativamente la diversità e il realismo.

English

Sonar image synthesis is crucial for advancing applications in underwater exploration, marine biology, and defence. Traditional methods often rely on extensive and costly data collection using sonar sensors, jeopardizing data quality and diversity. To overcome these limitations, this study proposes a new sonar image synthesis framework, Synth-SONAR leveraging diffusion models and GPT prompting. The key novelties of Synth-SONAR are threefold: First, by integrating Generative AI-based style injection techniques along with publicly available real/simulated data, thereby producing one of the largest sonar data corpus for sonar research. Second, a dual text-conditioning sonar diffusion model hierarchy synthesizes coarse and fine-grained sonar images with enhanced quality and diversity. Third, high-level (coarse) and low-level (detailed) text-based sonar generation methods leverage advanced semantic information available in visual language models (VLMs) and GPT-prompting. During inference, the method generates diverse and realistic sonar images from textual prompts, bridging the gap between textual descriptions and sonar image generation. This marks the application of GPT-prompting in sonar imagery for the first time, to the best of our knowledge. Synth-SONAR achieves state-of-the-art results in producing high-quality synthetic sonar datasets, significantly enhancing their diversity and realism.