ViPO: Optimización de Preferencias Visuales a Gran Escala

ViPO: Visual Preference Optimization at Scale

April 29, 2026

Autores: Ming Li, Jie Wu, Justin Cui, Xiaojie Li, Rui Wang, Chen Chen

cs.AI

Resumen

Si bien la optimización de preferencias es crucial para mejorar los modelos generativos visuales, la forma de escalar eficazmente este paradigma sigue siendo en gran medida inexplorada. Los conjuntos de datos de preferencias de código abierto actuales contienen patrones de preferencia conflictivos, donde los ganadores sobresalen en algunas dimensiones pero tienen un rendimiento inferior en otras. Optimizar de manera ingenua en estos conjuntos de datos ruidosos no logra aprender las preferencias, dificultando un escalado efectivo. Para mejorar la robustez frente al ruido, proponemos Poly-DPO, que extiende el objetivo de DPO con un término polinomial adicional que ajusta dinámicamente la confianza del modelo en función de las características del conjunto de datos, permitiendo un aprendizaje efectivo en diversas distribuciones de datos. Más allá de los patrones sesgados, los conjuntos de datos existentes adolecen de baja resolución, diversidad limitada de prompts y distribuciones desequilibradas. Para facilitar la optimización de preferencias visuales a gran escala abordando los cuellos de botella de datos, construimos ViPO, un conjunto de datos de preferencias a gran escala con 1M de pares de imágenes a 1024px en cinco categorías y 300K pares de videos a 720p+ en tres categorías. Modelos generativos de vanguardia y prompts diversos garantizan señales de preferencia confiables con distribuciones equilibradas. Notablemente, al aplicar Poly-DPO a nuestro conjunto de datos de alta calidad, la configuración óptima converge al DPO estándar. Esta convergencia valida la calidad del conjunto de datos y la naturaleza adaptativa de Poly-DPO: la optimización sofisticada se vuelve innecesaria con una calidad de datos suficiente, pero sigue siendo valiosa para conjuntos de datos imperfectos. Validamos nuestro enfoque en diversos modelos de generación visual. En conjuntos de datos ruidosos como Pick-a-Pic V2, Poly-DPO logra ganancias de 6.87 y 2.32 sobre Diffusion-DPO en GenEval para SD1.5 y SDXL, respectivamente. Para ViPO, los modelos alcanzan un rendimiento muy superior al de los entrenados en conjuntos de datos de preferencias de código abierto existentes. Estos resultados confirman que abordar tanto la adaptabilidad algorítmica como la calidad de los datos es esencial para escalar la optimización de preferencias visuales.

English

While preference optimization is crucial for improving visual generative models, how to effectively scale this paradigm remains largely unexplored. Current open-source preference datasets contain conflicting preference patterns, where winners excel in some dimensions but underperform in others. Naively optimizing on such noisy datasets fails to learn preferences, hindering effective scaling. To enhance robustness against noise, we propose Poly-DPO, which extends the DPO objective with an additional polynomial term that dynamically adjusts model confidence based on dataset characteristics, enabling effective learning across diverse data distributions. Beyond biased patterns, existing datasets suffer from low resolution, limited prompt diversity, and imbalanced distributions. To facilitate large-scale visual preference optimization by tackling data bottlenecks, we construct ViPO, a massive-scale preference dataset with 1M image pairs at 1024px across five categories and 300K video pairs at 720p+ across three categories. State-of-the-art generative models and diverse prompts ensure reliable preference signals with balanced distributions. Remarkably, when applying Poly-DPO to our high-quality dataset, the optimal configuration converges to standard DPO. This convergence validates dataset quality and Poly-DPO's adaptive nature: sophisticated optimization becomes unnecessary with sufficient data quality, yet remains valuable for imperfect datasets. We validate our approach across visual generation models. On noisy datasets like Pick-a-Pic V2, Poly-DPO achieves 6.87 and 2.32 gains over Diffusion-DPO on GenEval for SD1.5 and SDXL, respectively. For ViPO, models achieve performance far exceeding those trained on existing open-source preference datasets. These results confirm that addressing both algorithmic adaptability and data quality is essential for scaling visual preference optimization.