YINYANG-ALIGN: Bewertung widersprüchlicher Ziele und Vorschlag einer Multi-Objektiv-Optimierung basierend auf DPO für die Text-zu-Bild-Ausrichtung

YINYANG-ALIGN: Benchmarking Contradictory Objectives and Proposing Multi-Objective Optimization based DPO for Text-to-Image Alignment

February 5, 2025

Autoren: Amitava Das, Yaswanth Narsupalli, Gurpreet Singh, Vinija Jain, Vasu Sharma, Suranjana Trivedy, Aman Chadha, Amit Sheth

cs.AI

Zusammenfassung

Eine präzise Ausrichtung in Text-zu-Bild (T2I)-Systemen ist entscheidend, um sicherzustellen, dass die generierten visuellen Darstellungen nicht nur die Benutzerintentionen genau erfassen, sondern auch strengen ethischen und ästhetischen Maßstäben entsprechen. Vorfälle wie das Google Gemini-Fiasko, bei dem fehlgeleitete Ausgaben erheblichen öffentlichen Widerstand auslösten, unterstreichen die kritische Notwendigkeit robuster Ausrichtungsmechanismen. Im Gegensatz dazu haben große Sprachmodelle (LLMs) beachtliche Erfolge bei der Ausrichtung erzielt. Aufbauend auf diesen Fortschritten sind Forscher bestrebt, ähnliche Ausrichtungstechniken wie die Direkte Präferenzoptimierung (DPO) auf T2I-Systeme anzuwenden, um die Bildgenerierungstreue und -zuverlässigkeit zu verbessern. Wir stellen YinYangAlign vor, ein fortschrittliches Benchmarking-Framework, das systematisch die Ausrichtungstreue von T2I-Systemen quantifiziert und dabei sechs grundlegende und inhärent widersprüchliche Designziele anspricht. Jedes Paar repräsentiert grundlegende Spannungen in der Bildgenerierung, wie das Ausbalancieren der Einhaltung von Benutzeranweisungen mit kreativen Modifikationen oder das Aufrechterhalten von Vielfalt neben visueller Kohärenz. YinYangAlign umfasst detaillierte Axiom-Datensätze mit menschlichen Anweisungen, ausgerichteten (ausgewählten) Antworten, fehlgeleiteten (abgelehnten) KI-generierten Ausgaben und Erläuterungen der zugrunde liegenden Widersprüche.

English

Precise alignment in Text-to-Image (T2I) systems is crucial to ensure that generated visuals not only accurately encapsulate user intents but also conform to stringent ethical and aesthetic benchmarks. Incidents like the Google Gemini fiasco, where misaligned outputs triggered significant public backlash, underscore the critical need for robust alignment mechanisms. In contrast, Large Language Models (LLMs) have achieved notable success in alignment. Building on these advancements, researchers are eager to apply similar alignment techniques, such as Direct Preference Optimization (DPO), to T2I systems to enhance image generation fidelity and reliability. We present YinYangAlign, an advanced benchmarking framework that systematically quantifies the alignment fidelity of T2I systems, addressing six fundamental and inherently contradictory design objectives. Each pair represents fundamental tensions in image generation, such as balancing adherence to user prompts with creative modifications or maintaining diversity alongside visual coherence. YinYangAlign includes detailed axiom datasets featuring human prompts, aligned (chosen) responses, misaligned (rejected) AI-generated outputs, and explanations of the underlying contradictions.