Autoregresivo vs. Emparejamiento de Flujos: Un Estudio Comparativo de Paradigmas de Modelado para la Generación de Texto a Música

Auto-Regressive vs Flow-Matching: a Comparative Study of Modeling Paradigms for Text-to-Music Generation

June 10, 2025

Autores: Or Tal, Felix Kreuk, Yossi Adi

cs.AI

Resumen

Los avances recientes en la generación de música a partir de texto han permitido a los modelos sintetizar segmentos musicales de alta calidad, composiciones completas e incluso responder a señales de control detalladas, como progresiones de acordes. Los sistemas de vanguardia (SOTA) difieren significativamente en múltiples dimensiones, como los conjuntos de datos de entrenamiento, los paradigmas de modelado y las elecciones arquitectónicas. Esta diversidad complica los esfuerzos para evaluar los modelos de manera justa y determinar qué decisiones de diseño influyen más en el rendimiento. Si bien factores como los datos y la arquitectura son importantes, en este estudio nos centramos exclusivamente en el paradigma de modelado. Realizamos un análisis empírico sistemático para aislar sus efectos, ofreciendo información sobre las compensaciones asociadas y los comportamientos emergentes que pueden guiar futuros sistemas de generación de música a partir de texto. Específicamente, comparamos los dos paradigmas de modelado más comunes: decodificación auto-regresiva y flujo condicional coincidente (Conditional Flow-Matching). Llevamos a cabo una comparación controlada entrenando todos los modelos desde cero utilizando conjuntos de datos idénticos, configuraciones de entrenamiento similares y arquitecturas de base comparables. El rendimiento se evalúa en múltiples ejes, incluyendo la calidad de la generación, la robustez frente a configuraciones de inferencia, la escalabilidad, la adherencia tanto al condicionamiento textual como al alineado temporal, y las capacidades de edición en forma de inpainting de audio. Este estudio comparativo arroja luz sobre las fortalezas y limitaciones distintivas de cada paradigma, proporcionando información práctica que puede influir en futuras decisiones arquitectónicas y de entrenamiento en el panorama en evolución de la generación de música a partir de texto. Ejemplos de audio están disponibles en: https://huggingface.co/spaces/ortal1602/ARvsFM.

English

Recent progress in text-to-music generation has enabled models to synthesize high-quality musical segments, full compositions, and even respond to fine-grained control signals, e.g. chord progressions. State-of-the-art (SOTA) systems differ significantly across many dimensions, such as training datasets, modeling paradigms, and architectural choices. This diversity complicates efforts to evaluate models fairly and pinpoint which design choices most influence performance. While factors like data and architecture are important, in this study we focus exclusively on the modeling paradigm. We conduct a systematic empirical analysis to isolate its effects, offering insights into associated trade-offs and emergent behaviors that can guide future text-to-music generation systems. Specifically, we compare the two arguably most common modeling paradigms: Auto-Regressive decoding and Conditional Flow-Matching. We conduct a controlled comparison by training all models from scratch using identical datasets, training configurations, and similar backbone architectures. Performance is evaluated across multiple axes, including generation quality, robustness to inference configurations, scalability, adherence to both textual and temporally aligned conditioning, and editing capabilities in the form of audio inpainting. This comparative study sheds light on distinct strengths and limitations of each paradigm, providing actionable insights that can inform future architectural and training decisions in the evolving landscape of text-to-music generation. Audio sampled examples are available at: https://huggingface.co/spaces/ortal1602/ARvsFM