Edição de Cores Guiada por Texto sem Treinamento com Transformador de Difusão Multimodal

Training-Free Text-Guided Color Editing with Multi-Modal Diffusion Transformer

August 12, 2025

Autores: Zixin Yin, Xili Dai, Ling-Hao Chen, Deyu Zhou, Jianan Wang, Duomin Wang, Gang Yu, Lionel M. Ni, Lei Zhang, Heung-Yeung Shum

cs.AI

Resumo

A edição de cores guiada por texto em imagens e vídeos é um problema fundamental ainda não resolvido, exigindo manipulação refinada de atributos de cor, incluindo albedo, cor da fonte de luz e iluminação ambiente, enquanto preserva a consistência física na geometria, propriedades dos materiais e interações luz-matéria. Métodos existentes que não requerem treinamento oferecem ampla aplicabilidade em tarefas de edição, mas lutam com o controle preciso de cores e frequentemente introduzem inconsistências visuais tanto nas regiões editadas quanto nas não editadas. Neste trabalho, apresentamos o ColorCtrl, um método de edição de cores que não requer treinamento e aproveita os mecanismos de atenção dos modernos Transformers de Difusão Multi-Modal (MM-DiT). Ao separar estrutura e cor por meio da manipulação direcionada de mapas de atenção e tokens de valor, nosso método permite edição de cores precisa e consistente, juntamente com controle em nível de palavra da intensidade dos atributos. Nosso método modifica apenas as regiões especificadas pelo prompt, deixando áreas não relacionadas intocadas. Experimentos extensivos tanto no SD3 quanto no FLUX.1-dev demonstram que o ColorCtrl supera as abordagens existentes que não requerem treinamento e alcança desempenhos de ponta tanto em qualidade de edição quanto em consistência. Além disso, nosso método supera modelos comerciais robustos como o FLUX.1 Kontext Max e a Geração de Imagens GPT-4o em termos de consistência. Quando estendido a modelos de vídeo como o CogVideoX, nossa abordagem exibe vantagens ainda maiores, particularmente na manutenção da coerência temporal e estabilidade de edição. Por fim, nosso método também se generaliza para modelos de difusão de edição baseados em instruções, como o Step1X-Edit e o FLUX.1 Kontext dev, demonstrando ainda mais sua versatilidade.

English

Text-guided color editing in images and videos is a fundamental yet unsolved problem, requiring fine-grained manipulation of color attributes, including albedo, light source color, and ambient lighting, while preserving physical consistency in geometry, material properties, and light-matter interactions. Existing training-free methods offer broad applicability across editing tasks but struggle with precise color control and often introduce visual inconsistency in both edited and non-edited regions. In this work, we present ColorCtrl, a training-free color editing method that leverages the attention mechanisms of modern Multi-Modal Diffusion Transformers (MM-DiT). By disentangling structure and color through targeted manipulation of attention maps and value tokens, our method enables accurate and consistent color editing, along with word-level control of attribute intensity. Our method modifies only the intended regions specified by the prompt, leaving unrelated areas untouched. Extensive experiments on both SD3 and FLUX.1-dev demonstrate that ColorCtrl outperforms existing training-free approaches and achieves state-of-the-art performances in both edit quality and consistency. Furthermore, our method surpasses strong commercial models such as FLUX.1 Kontext Max and GPT-4o Image Generation in terms of consistency. When extended to video models like CogVideoX, our approach exhibits greater advantages, particularly in maintaining temporal coherence and editing stability. Finally, our method also generalizes to instruction-based editing diffusion models such as Step1X-Edit and FLUX.1 Kontext dev, further demonstrating its versatility.