Alineación Estética Riesga la Asimilación: Cómo la Generación de Imágenes y los Modelos de Recompensa Refuerzan el Sesgo de Belleza y la "Censura" Ideológica
Aesthetic Alignment Risks Assimilation: How Image Generation and Reward Models Reinforce Beauty Bias and Ideological "Censorship"
December 9, 2025
Autores: Wenqi Marshall Guo, Qingyun Qian, Khalad Hasan, Shan Du
cs.AI
Resumen
La alineación excesiva de los modelos de generación de imágenes con una preferencia estética generalizada entra en conflicto con la intención del usuario, particularmente cuando se solicitan resultados "antiestéticos" con fines artísticos o críticos. Esta adherencia prioriza valores centrados en el desarrollador, comprometiendo la autonomía del usuario y el pluralismo estético. Probamos este sesgo construyendo un conjunto de datos de estética de amplio espectro y evaluando modelos de generación y recompensa de última generación. Descubrimos que los modelos de generación alineados estéticamente recurren frecuentemente a resultados convencionalmente bellos, sin respetar las instrucciones para generar imágenes de baja calidad o con connotaciones negativas. Crucialmente, los modelos de recompensa penalizan las imágenes antiestéticas incluso cuando coinciden perfectamente con la instrucción explícita del usuario. Confirmamos este sesgo sistémico mediante edición de imagen a imagen y evaluación comparativa con obras de arte abstracto reales.
English
Over-aligning image generation models to a generalized aesthetic preference conflicts with user intent, particularly when ``anti-aesthetic" outputs are requested for artistic or critical purposes. This adherence prioritizes developer-centered values, compromising user autonomy and aesthetic pluralism. We test this bias by constructing a wide-spectrum aesthetics dataset and evaluating state-of-the-art generation and reward models. We find that aesthetic-aligned generation models frequently default to conventionally beautiful outputs, failing to respect instructions for low-quality or negative imagery. Crucially, reward models penalize anti-aesthetic images even when they perfectly match the explicit user prompt. We confirm this systemic bias through image-to-image editing and evaluation against real abstract artworks.