Inversão Textual Direcional para Geração Personalizada de Imagens a partir de Texto

Directional Textual Inversion for Personalized Text-to-Image Generation

December 15, 2025

Autores: Kunhee Kim, NaHyeon Park, Kibeom Hong, Hyunjung Shim

cs.AI

Resumo

A Inversão Textual (IT) é uma abordagem eficiente para a personalização texto-imagem, mas frequentemente falha em instruções complexas. Nós rastreamos essas falhas até a inflação da norma do *embedding*: os tokens aprendidos desviam-se para magnitudes fora da distribuição, degradando o condicionamento por *prompt* em Transformers com pré-normalização. Empiricamente, mostramos que a semântica é codificada principalmente pela direção no espaço de tokens do CLIP, enquanto normas inflacionadas prejudicam a contextualização; teoricamente, analisamos como magnitudes grandes atenuam a informação posicional e dificultam as atualizações residuais em blocos de pré-normalização. Propomos a Inversão Textual Direcional (ITD), que fixa a magnitude do *embedding* para uma escala dentro da distribuição e otimiza apenas a direção na hiperesfera unitária via SGD Riemanniano. Formula-se a aprendizagem de direção como MAP com um *prior* von Mises-Fisher, resultando em um gradiente de *prior* de direção constante que é simples e eficiente de incorporar. Em diversas tarefas de personalização, a ITD melhora a fidelidade textual em relação à IT e suas variantes, mantendo a similaridade do sujeito. Crucialmente, a parametrização hipersférica da ITD permite uma interpolação suave e semanticamente coerente entre conceitos aprendidos (slerp), uma capacidade ausente na IT padrão. Nossos achados sugerem que a otimização apenas da direção é um caminho robusto e escalável para a personalização fiel ao *prompt*.

English

Textual Inversion (TI) is an efficient approach to text-to-image personalization but often fails on complex prompts. We trace these failures to embedding norm inflation: learned tokens drift to out-of-distribution magnitudes, degrading prompt conditioning in pre-norm Transformers. Empirically, we show semantics are primarily encoded by direction in CLIP token space, while inflated norms harm contextualization; theoretically, we analyze how large magnitudes attenuate positional information and hinder residual updates in pre-norm blocks. We propose Directional Textual Inversion (DTI), which fixes the embedding magnitude to an in-distribution scale and optimizes only direction on the unit hypersphere via Riemannian SGD. We cast direction learning as MAP with a von Mises-Fisher prior, yielding a constant-direction prior gradient that is simple and efficient to incorporate. Across personalization tasks, DTI improves text fidelity over TI and TI-variants while maintaining subject similarity. Crucially, DTI's hyperspherical parameterization enables smooth, semantically coherent interpolation between learned concepts (slerp), a capability that is absent in standard TI. Our findings suggest that direction-only optimization is a robust and scalable path for prompt-faithful personalization.