Synth-SONAR: Sonarbeeldsynthese met verbeterde diversiteit en realisme via dubbele diffusiemodellen en GPT-aanwijzingen

Synth-SONAR: Sonar Image Synthesis with Enhanced Diversity and Realism via Dual Diffusion Models and GPT Prompting

October 11, 2024

Auteurs: Purushothaman Natarajan, Kamal Basha, Athira Nambiar

cs.AI

Samenvatting

Sonarbeeldsynthese is cruciaal voor het bevorderen van toepassingen in onderwaterverkenning, mariene biologie en defensie. Traditionele methoden vertrouwen vaak op uitgebreide en kostbare gegevensverzameling met behulp van sonarsensoren, wat de kwaliteit en diversiteit van gegevens in gevaar brengt. Om deze beperkingen te overwinnen, stelt deze studie een nieuw raamwerk voor sonarbeeldsynthese voor, genaamd Synth-SONAR, waarbij diffusiemodellen en GPT-aanwijzingen worden benut. De belangrijkste vernieuwingen van Synth-SONAR zijn drievoudig: Ten eerste, door Generatieve AI-gebaseerde stijlinjectietechnieken te integreren met openbaar beschikbare echte/gemoduleerde gegevens, waardoor een van de grootste sonargegevenscorpora voor sonaronderzoek wordt geproduceerd. Ten tweede, een hiërarchie van dubbele tekstconditioneringssonor-diffusiemodellen synthetiseert grove en fijnkorrelige sonarbeelden met verbeterde kwaliteit en diversiteit. Ten derde maken hoog-niveau (grove) en laag-niveau (gedetailleerde) op tekst gebaseerde sonargeneratiemethoden gebruik van geavanceerde semantische informatie die beschikbaar is in visuele taalmodellen (VLM's) en GPT-aanwijzingen. Tijdens de inferentie genereert de methode diverse en realistische sonarbeelden van tekstuele aanwijzingen, waarbij de kloof tussen tekstuele beschrijvingen en sonarbeeldgeneratie wordt overbrugd. Dit markeert naar ons beste weten de eerste toepassing van GPT-aanwijzingen in sonarbeelden. Synth-SONAR behaalt state-of-the-art resultaten bij het produceren van hoogwaardige synthetische sonargegevenssets, waarbij hun diversiteit en realisme aanzienlijk worden verbeterd.

English

Sonar image synthesis is crucial for advancing applications in underwater exploration, marine biology, and defence. Traditional methods often rely on extensive and costly data collection using sonar sensors, jeopardizing data quality and diversity. To overcome these limitations, this study proposes a new sonar image synthesis framework, Synth-SONAR leveraging diffusion models and GPT prompting. The key novelties of Synth-SONAR are threefold: First, by integrating Generative AI-based style injection techniques along with publicly available real/simulated data, thereby producing one of the largest sonar data corpus for sonar research. Second, a dual text-conditioning sonar diffusion model hierarchy synthesizes coarse and fine-grained sonar images with enhanced quality and diversity. Third, high-level (coarse) and low-level (detailed) text-based sonar generation methods leverage advanced semantic information available in visual language models (VLMs) and GPT-prompting. During inference, the method generates diverse and realistic sonar images from textual prompts, bridging the gap between textual descriptions and sonar image generation. This marks the application of GPT-prompting in sonar imagery for the first time, to the best of our knowledge. Synth-SONAR achieves state-of-the-art results in producing high-quality synthetic sonar datasets, significantly enhancing their diversity and realism.