YINYANG-ALIGN: Оценка противоречивых целей и предложение многокритериальной оптимизации на основе DPO для выравнивания текста и изображения.

YINYANG-ALIGN: Benchmarking Contradictory Objectives and Proposing Multi-Objective Optimization based DPO for Text-to-Image Alignment

February 5, 2025

Авторы: Amitava Das, Yaswanth Narsupalli, Gurpreet Singh, Vinija Jain, Vasu Sharma, Suranjana Trivedy, Aman Chadha, Amit Sheth

cs.AI

Аннотация

Точное выравнивание в системах текст-к изображению (Text-to-Image, T2I) имеет решающее значение для обеспечения того, чтобы созданные визуальные образы не только точно отражали намерения пользователя, но также соответствовали строгим этическим и эстетическим стандартам. Инциденты, подобные катастрофе Google Gemini, где неправильное выравнивание привело к значительному общественному негодованию, подчеркивают критическую необходимость надежных механизмов выравнивания. В отличие от этого, Большие Языковые Модели (Large Language Models, LLMs) достигли заметного успеха в области выравнивания. Основываясь на этих достижениях, исследователи стремятся применить аналогичные техники выравнивания, такие как Оптимизация Прямых Предпочтений (Direct Preference Optimization, DPO), к системам T2I для улучшения достоверности и надежности генерации изображений. Мы представляем YinYangAlign, продвинутую систему оценки, которая систематически количественно оценивает достоверность выравнивания систем T2I, учитывая шесть фундаментальных и внутренне противоречивых целей дизайна. Каждая пара представляет собой фундаментальные напряжения в генерации изображений, такие как балансирование соблюдения пользовательских запросов с творческими модификациями или поддержание разнообразия наряду с визуальной последовательностью. YinYangAlign включает подробные наборы аксиом, содержащие человеческие запросы, выровненные (выбранные) ответы, невыровненные (отклоненные) созданные искусственным интеллектом результаты и объяснения основных противоречий.

English

Precise alignment in Text-to-Image (T2I) systems is crucial to ensure that generated visuals not only accurately encapsulate user intents but also conform to stringent ethical and aesthetic benchmarks. Incidents like the Google Gemini fiasco, where misaligned outputs triggered significant public backlash, underscore the critical need for robust alignment mechanisms. In contrast, Large Language Models (LLMs) have achieved notable success in alignment. Building on these advancements, researchers are eager to apply similar alignment techniques, such as Direct Preference Optimization (DPO), to T2I systems to enhance image generation fidelity and reliability. We present YinYangAlign, an advanced benchmarking framework that systematically quantifies the alignment fidelity of T2I systems, addressing six fundamental and inherently contradictory design objectives. Each pair represents fundamental tensions in image generation, such as balancing adherence to user prompts with creative modifications or maintaining diversity alongside visual coherence. YinYangAlign includes detailed axiom datasets featuring human prompts, aligned (chosen) responses, misaligned (rejected) AI-generated outputs, and explanations of the underlying contradictions.