Inversione Testuale Direzionale per la Generazione Personalizzata di Immagini da Testo

Directional Textual Inversion for Personalized Text-to-Image Generation

December 15, 2025

Autori: Kunhee Kim, NaHyeon Park, Kibeom Hong, Hyunjung Shim

cs.AI

Abstract

La Textual Inversion (TI) è un approccio efficiente per la personalizzazione testo-immagine, ma spesso fallisce con prompt complessi. Riconduciamo questi fallimenti all'inflazione della norma degli embedding: i token appresi divergono verso magnitudini fuori distribuzione, degradando il condizionamento del prompt nei Transformer pre-norm. Empiricamente, mostriamo che la semantica è codificata principalmente dalla direzione nello spazio token di CLIP, mentre norme inflazionate danneggiano la contestualizzazione; teoricamente, analizziamo come magnitudini elevate attenuino l'informazione posizionale e ostacolino gli aggiornamenti residui nei blocchi pre-norm. Proponiamo la Directional Textual Inversion (DTI), che fissa la magnitudine dell'embedding a una scala in-distribuzione e ottimizza solo la direzione sulla ipersfera unitaria tramite Riemannian SGD. Inquadriamo l'apprendimento della direzione come MAP con un prior von Mises-Fisher, ottenendo un gradiente prior a direzione costante, semplice ed efficiente da incorporare. In varie attività di personalizzazione, la DTI migliora la fedeltà testuale rispetto alla TI e alle sue varianti, mantenendo la somiglianza del soggetto. Crucialmente, la parametrizzazione ipersferica della DTI consente un'interpolazione fluida e semanticamente coerente tra concetti appresi (slerp), una capacità assente nella TI standard. I nostri risultati suggeriscono che l'ottimizzazione basata solo sulla direzione è un percorso robusto e scalabile per una personalizzazione fedele al prompt.

English

Textual Inversion (TI) is an efficient approach to text-to-image personalization but often fails on complex prompts. We trace these failures to embedding norm inflation: learned tokens drift to out-of-distribution magnitudes, degrading prompt conditioning in pre-norm Transformers. Empirically, we show semantics are primarily encoded by direction in CLIP token space, while inflated norms harm contextualization; theoretically, we analyze how large magnitudes attenuate positional information and hinder residual updates in pre-norm blocks. We propose Directional Textual Inversion (DTI), which fixes the embedding magnitude to an in-distribution scale and optimizes only direction on the unit hypersphere via Riemannian SGD. We cast direction learning as MAP with a von Mises-Fisher prior, yielding a constant-direction prior gradient that is simple and efficient to incorporate. Across personalization tasks, DTI improves text fidelity over TI and TI-variants while maintaining subject similarity. Crucially, DTI's hyperspherical parameterization enables smooth, semantically coherent interpolation between learned concepts (slerp), a capability that is absent in standard TI. Our findings suggest that direction-only optimization is a robust and scalable path for prompt-faithful personalization.