Re-Align: Структурированное выравнивание с управлением на основе логических рассуждений для генерации и редактирования изображений в контексте

Re-Align: Structured Reasoning-guided Alignment for In-Context Image Generation and Editing

January 8, 2026

Авторы: Runze He, Yiji Cheng, Tiankai Hang, Zhimin Li, Yu Xu, Zijin Yin, Shiyi Zhang, Wenxun Dai, Penghui Du, Ao Ma, Chunyu Wang, Qinglin Lu, Jizhong Han, Jiao Dai

cs.AI

Аннотация

Генерация и редактирование изображений в контексте (ICGE) позволяет пользователям задавать визуальные концепции с помощью чередующихся изображений и текстовых промптов, что требует точного понимания и достоверного выполнения пользовательского замысла. Хотя современные унифицированные мультимодальные модели демонстрируют перспективные способности к пониманию, эти преимущества часто не переносятся эффективно на генерацию изображений. Мы представляем Re-Align — унифицированную архитектуру, преодолевающую разрыв между пониманием и генерацией через структурированное согласование на основе рассуждений. Её ядром является In-Context Chain-of-Thought (IC-CoT) — структурированная парадигма рассуждений, разделяющая семантическое руководство и референсные ассоциации, что обеспечивает чёткую текстовую цель и снижает путаницу между референсными изображениями. Кроме того, Re-Align внедряет эффективную схему RL-обучения, использующую суррогатную функцию вознаграждения для измерения согласованности между структурированным текстом рассуждений и сгенерированным изображением, тем самым повышая общую производительность модели на задачах ICGE. Многочисленные эксперименты подтверждают, что Re-Align превосходит конкурирующие методы сопоставимого масштаба модели и вычислительных ресурсов как в задачах генерации, так и редактирования изображений в контексте.

English

In-context image generation and editing (ICGE) enables users to specify visual concepts through interleaved image-text prompts, demanding precise understanding and faithful execution of user intent. Although recent unified multimodal models exhibit promising understanding capabilities, these strengths often fail to transfer effectively to image generation. We introduce Re-Align, a unified framework that bridges the gap between understanding and generation through structured reasoning-guided alignment. At its core lies the In-Context Chain-of-Thought (IC-CoT), a structured reasoning paradigm that decouples semantic guidance and reference association, providing clear textual target and mitigating confusion among reference images. Furthermore, Re-Align introduces an effective RL training scheme that leverages a surrogate reward to measure the alignment between structured reasoning text and the generated image, thereby improving the model's overall performance on ICGE tasks. Extensive experiments verify that Re-Align outperforms competitive methods of comparable model scale and resources on both in-context image generation and editing tasks.