Synth-SONAR: Síntesis de Imágenes Sonar con Mayor Diversidad y Realismo a través de Modelos de Difusión Dual y Estímulos de GPT

Synth-SONAR: Sonar Image Synthesis with Enhanced Diversity and Realism via Dual Diffusion Models and GPT Prompting

October 11, 2024

Autores: Purushothaman Natarajan, Kamal Basha, Athira Nambiar

cs.AI

Resumen

La síntesis de imágenes de sonar es crucial para avanzar en aplicaciones en exploración submarina, biología marina y defensa. Los métodos tradicionales a menudo dependen de una recolección extensa y costosa de datos utilizando sensores de sonar, poniendo en peligro la calidad y diversidad de los datos. Para superar estas limitaciones, este estudio propone un nuevo marco de síntesis de imágenes de sonar, Synth-SONAR, aprovechando modelos de difusión y el uso de GPT para la generación de texto. Las principales novedades de Synth-SONAR son triples: Primero, al integrar técnicas de inyección de estilo basadas en IA generativa junto con datos reales/simulados disponibles públicamente, produciendo así uno de los mayores corpus de datos de sonar para la investigación en sonar. Segundo, una jerarquía de modelos de difusión de sonar condicionados por texto dual sintetiza imágenes de sonar gruesas y detalladas con una calidad y diversidad mejoradas. Tercero, métodos de generación de sonar basados en texto de alto nivel (grueso) y bajo nivel (detallado) aprovechan la información semántica avanzada disponible en modelos de lenguaje visual (VLMs) y el uso de GPT para la generación de texto. Durante la inferencia, el método genera imágenes de sonar diversas y realistas a partir de indicaciones textuales, cerrando la brecha entre descripciones textuales y generación de imágenes de sonar. Esto marca la aplicación del uso de GPT para la generación de imágenes de sonar por primera vez, hasta donde alcanza nuestro conocimiento. Synth-SONAR logra resultados de vanguardia en la producción de conjuntos de datos de sonar sintéticos de alta calidad, mejorando significativamente su diversidad y realismo.

English

Sonar image synthesis is crucial for advancing applications in underwater exploration, marine biology, and defence. Traditional methods often rely on extensive and costly data collection using sonar sensors, jeopardizing data quality and diversity. To overcome these limitations, this study proposes a new sonar image synthesis framework, Synth-SONAR leveraging diffusion models and GPT prompting. The key novelties of Synth-SONAR are threefold: First, by integrating Generative AI-based style injection techniques along with publicly available real/simulated data, thereby producing one of the largest sonar data corpus for sonar research. Second, a dual text-conditioning sonar diffusion model hierarchy synthesizes coarse and fine-grained sonar images with enhanced quality and diversity. Third, high-level (coarse) and low-level (detailed) text-based sonar generation methods leverage advanced semantic information available in visual language models (VLMs) and GPT-prompting. During inference, the method generates diverse and realistic sonar images from textual prompts, bridging the gap between textual descriptions and sonar image generation. This marks the application of GPT-prompting in sonar imagery for the first time, to the best of our knowledge. Synth-SONAR achieves state-of-the-art results in producing high-quality synthetic sonar datasets, significantly enhancing their diversity and realism.