Редактирование цвета на основе текста без обучения с использованием мультимодального диффузионного трансформера

Training-Free Text-Guided Color Editing with Multi-Modal Diffusion Transformer

August 12, 2025

Авторы: Zixin Yin, Xili Dai, Ling-Hao Chen, Deyu Zhou, Jianan Wang, Duomin Wang, Gang Yu, Lionel M. Ni, Lei Zhang, Heung-Yeung Shum

cs.AI

Аннотация

Редактирование цвета в изображениях и видео на основе текстовых инструкций является фундаментальной, но до сих пор не решенной задачей, требующей тонкого управления цветовыми атрибутами, включая альбедо, цвет источника света и окружающее освещение, при сохранении физической согласованности в геометрии, свойствах материалов и взаимодействии света с материей. Существующие методы, не требующие обучения, предлагают широкую применимость для различных задач редактирования, но сталкиваются с трудностями в точном управлении цветом и часто приводят к визуальной несогласованности как в редактируемых, так и в нередактируемых областях. В данной работе мы представляем ColorCtrl — метод редактирования цвета без обучения, который использует механизмы внимания современных мультимодальных диффузионных трансформеров (MM-DiT). Разделяя структуру и цвет через целенаправленное управление картами внимания и токенами значений, наш метод обеспечивает точное и согласованное редактирование цвета, а также контроль интенсивности атрибутов на уровне слов. Наш метод изменяет только те области, которые указаны в запросе, оставляя несвязанные области нетронутыми. Многочисленные эксперименты на моделях SD3 и FLUX.1-dev демонстрируют, что ColorCtrl превосходит существующие подходы без обучения и достигает наилучших результатов как по качеству редактирования, так и по согласованности. Более того, наш метод превосходит сильные коммерческие модели, такие как FLUX.1 Kontext Max и GPT-4o Image Generation, с точки зрения согласованности. При применении к видео-моделям, таким как CogVideoX, наш подход демонстрирует еще большие преимущества, особенно в поддержании временной согласованности и стабильности редактирования. Наконец, наш метод также обобщается на диффузионные модели редактирования на основе инструкций, такие как Step1X-Edit и FLUX.1 Kontext dev, что дополнительно подтверждает его универсальность.

English

Text-guided color editing in images and videos is a fundamental yet unsolved problem, requiring fine-grained manipulation of color attributes, including albedo, light source color, and ambient lighting, while preserving physical consistency in geometry, material properties, and light-matter interactions. Existing training-free methods offer broad applicability across editing tasks but struggle with precise color control and often introduce visual inconsistency in both edited and non-edited regions. In this work, we present ColorCtrl, a training-free color editing method that leverages the attention mechanisms of modern Multi-Modal Diffusion Transformers (MM-DiT). By disentangling structure and color through targeted manipulation of attention maps and value tokens, our method enables accurate and consistent color editing, along with word-level control of attribute intensity. Our method modifies only the intended regions specified by the prompt, leaving unrelated areas untouched. Extensive experiments on both SD3 and FLUX.1-dev demonstrate that ColorCtrl outperforms existing training-free approaches and achieves state-of-the-art performances in both edit quality and consistency. Furthermore, our method surpasses strong commercial models such as FLUX.1 Kontext Max and GPT-4o Image Generation in terms of consistency. When extended to video models like CogVideoX, our approach exhibits greater advantages, particularly in maintaining temporal coherence and editing stability. Finally, our method also generalizes to instruction-based editing diffusion models such as Step1X-Edit and FLUX.1 Kontext dev, further demonstrating its versatility.