IV-CoT: Неявная визуальная цепочка рассуждений для генерации изображений по тексту с учетом структуры

Аннотация

Унифицированные мультимодальные большие языковые модели (МБЯМ) достигли высокого качества генерации изображений по тексту, но всё ещё испытывают трудности с структурно-осознанным следованием подсказкам, когда необходимо сохранять количество объектов, пространственные отношения, привязки атрибутов и грубые макеты. Мы связываем это ограничение отчасти с переплетением структурного планирования и рендеринга внешнего вида в рамках единого потока обусловливания. Для решения этой проблемы мы предлагаем Implicit Visual Chain-of-Thought (IV-CoT) — фреймворк латентных визуальных рассуждений для генерации изображений, обусловленной запросами. IV-CoT декомпозирует визуальные запросы обусловливания в каскад от структурного к семантическому, где структурные запросы сначала формируют латентный визуальный план, а семантические запросы затем рендерят внешний вид, обусловленный этим планом. Для управления структурными запросами мы вводим надзор на основе набросков, применяемый только на этапе обучения, который побуждает их извлекать структуру из набросков без необходимости извлечения набросков или промежуточного декодирования на этапе вывода. IV-CoT выполняет неявные рассуждения по цепочке мыслей за один прямой проход и достигает превосходных результатов на GenEval и T2I-CompBench. Визуализации и анализ показывают, что обученные структурные и семантические запросы играют взаимодополняющие роли в генерации, учитывающей структуру.

English

Unified multi-modal large language models (MLLMs) have achieved strong text-to-image generation quality, but still struggle with structure-aware prompt following, where object counts, spatial relations, attribute bindings, and coarse layouts must be preserved. We attribute this limitation in part to the entanglement of structural planning and appearance rendering within a single conditioning stream. To address this issue, we propose Implicit Visual Chain-of-Thought (IV-CoT), a latent visual reasoning framework for query-conditioned image generation. IV-CoT decomposes the visual conditioning queries into a structural-to-semantic cascade, where structural queries first form a latent visual plan and semantic queries then render appearance conditioned on this plan. To guide the structural queries, we introduce training-only sketch supervision, which encourages them to capture structure from sketches without requiring sketch extraction or intermediate decoding at inference time. IV-CoT performs implicit CoT reasoning in a single forward pass and achieves superior results on GenEval and T2I-CompBench. Visualizations and analyses demonstrate that the learned structural and semantic queries play complementary roles in structure-aware generation.