Synth-SONAR: Sonar-Bildsynthese mit verbesserter Vielfalt und Realismus durch duale Diffusionsmodelle und GPT-Aufforderung

Synth-SONAR: Sonar Image Synthesis with Enhanced Diversity and Realism via Dual Diffusion Models and GPT Prompting

October 11, 2024

Autoren: Purushothaman Natarajan, Kamal Basha, Athira Nambiar

cs.AI

Zusammenfassung

Die Synthese von Sonarbildern ist entscheidend für die Weiterentwicklung von Anwendungen in der Unterwassererkundung, Meeresbiologie und Verteidigung. Traditionelle Methoden stützen sich oft auf umfangreiche und kostspielige Datensammlungen mithilfe von Sonarsensoren, was die Datenqualität und -vielfalt gefährdet. Um diese Einschränkungen zu überwinden, schlägt diese Studie ein neues Sonarbildsynthese-Framework namens Synth-SONAR vor, das Diffusionsmodelle und GPT-Prompting nutzt. Die drei Hauptneuheiten von Synth-SONAR sind folgende: Erstens, durch die Integration von generativen KI-basierten Stileinspritzungstechniken zusammen mit öffentlich verfügbaren realen/simulierten Daten, wodurch eines der größten Sonardatensätze für Sonarforschung erzeugt wird. Zweitens, eine duale textkonditionierte Sonardiffusionsmodell-Hierarchie synthetisiert grobe und feinkörnige Sonarbilder mit verbesserter Qualität und Vielfalt. Drittens nutzen hochrangige (grobe) und niedrigrangige (detaillierte) textbasierte Sonargenerierungsmethoden fortgeschrittene semantische Informationen, die in visuellen Sprachmodellen (VLMs) und GPT-Prompting verfügbar sind. Während der Inferenz generiert die Methode vielfältige und realistische Sonarbilder aus textuellen Anweisungen und überbrückt die Kluft zwischen textuellen Beschreibungen und Sonarbildgenerierung. Dies markiert nach unserem Kenntnisstand erstmals die Anwendung von GPT-Prompting in der Sonarbildgebung. Synth-SONAR erzielt Spitzenresultate bei der Erzeugung hochwertiger synthetischer Sonardatensätze, wodurch deren Vielfalt und Realismus signifikant verbessert werden.

English

Sonar image synthesis is crucial for advancing applications in underwater exploration, marine biology, and defence. Traditional methods often rely on extensive and costly data collection using sonar sensors, jeopardizing data quality and diversity. To overcome these limitations, this study proposes a new sonar image synthesis framework, Synth-SONAR leveraging diffusion models and GPT prompting. The key novelties of Synth-SONAR are threefold: First, by integrating Generative AI-based style injection techniques along with publicly available real/simulated data, thereby producing one of the largest sonar data corpus for sonar research. Second, a dual text-conditioning sonar diffusion model hierarchy synthesizes coarse and fine-grained sonar images with enhanced quality and diversity. Third, high-level (coarse) and low-level (detailed) text-based sonar generation methods leverage advanced semantic information available in visual language models (VLMs) and GPT-prompting. During inference, the method generates diverse and realistic sonar images from textual prompts, bridging the gap between textual descriptions and sonar image generation. This marks the application of GPT-prompting in sonar imagery for the first time, to the best of our knowledge. Synth-SONAR achieves state-of-the-art results in producing high-quality synthetic sonar datasets, significantly enhancing their diversity and realism.