Color Me Correctly: Colmare il Divario tra Spazi Colore Percettivi e Embedding Testuali per una Generazione Diffusion Migliorata

Color Me Correctly: Bridging Perceptual Color Spaces and Text Embeddings for Improved Diffusion Generation

September 12, 2025

Autori: Sung-Lin Tsai, Bo-Lun Huang, Yu Ting Shen, Cheng Yu Yeo, Chiang Tseng, Bo-Kai Ruan, Wen-Sheng Lien, Hong-Han Shuai

cs.AI

Abstract

Un allineamento accurato dei colori nella generazione di immagini da testo (T2I) è fondamentale per applicazioni come la moda, la visualizzazione di prodotti e il design d'interni, ma i modelli di diffusione attuali faticano a gestire termini di colore complessi e sfumati (ad esempio, blu Tiffany, verde lime, rosa shocking), producendo spesso immagini non allineate con l'intento umano. Gli approcci esistenti si basano sulla manipolazione dell'attenzione incrociata, su immagini di riferimento o su fine-tuning, ma non riescono a risolvere sistematicamente le descrizioni di colore ambigue. Per rappresentare con precisione i colori in presenza di ambiguità nei prompt, proponiamo un framework senza addestramento che migliora la fedeltà dei colori sfruttando un modello linguistico di grandi dimensioni (LLM) per disambiguare i prompt relativi ai colori e guidare le operazioni di fusione dei colori direttamente nello spazio di incorporamento del testo. Il nostro metodo utilizza prima un modello linguistico di grandi dimensioni (LLM) per risolvere i termini di colore ambigui nel prompt testuale, e poi affina gli embedding testuali in base alle relazioni spaziali dei termini di colore risultanti nello spazio colore CIELAB. A differenza dei metodi precedenti, il nostro approccio migliora l'accuratezza dei colori senza richiedere ulteriore addestramento o immagini di riferimento esterne. I risultati sperimentali dimostrano che il nostro framework migliora l'allineamento dei colori senza compromettere la qualità dell'immagine, colmando il divario tra semantica testuale e generazione visiva.

English

Accurate color alignment in text-to-image (T2I) generation is critical for applications such as fashion, product visualization, and interior design, yet current diffusion models struggle with nuanced and compound color terms (e.g., Tiffany blue, lime green, hot pink), often producing images that are misaligned with human intent. Existing approaches rely on cross-attention manipulation, reference images, or fine-tuning but fail to systematically resolve ambiguous color descriptions. To precisely render colors under prompt ambiguity, we propose a training-free framework that enhances color fidelity by leveraging a large language model (LLM) to disambiguate color-related prompts and guiding color blending operations directly in the text embedding space. Our method first employs a large language model (LLM) to resolve ambiguous color terms in the text prompt, and then refines the text embeddings based on the spatial relationships of the resulting color terms in the CIELAB color space. Unlike prior methods, our approach improves color accuracy without requiring additional training or external reference images. Experimental results demonstrate that our framework improves color alignment without compromising image quality, bridging the gap between text semantics and visual generation.