WeEdit: un dataset, benchmark e framework guidato dai glifi per l'editing di immagini incentrato sul testo

WeEdit: A Dataset, Benchmark and Glyph-Guided Framework for Text-centric Image Editing

March 12, 2026

Autori: Hui Zhang, Juntao Liu, Zongkai Liu, Liqiang Niu, Fandong Meng, Zuxuan Wu, Yu-Gang Jiang

cs.AI

Abstract

La modifica di immagini basata su istruzioni mira ad alterare contenuti specifici all'interno di immagini esistenti secondo le indicazioni dell'utente, preservando le regioni non interessate. Oltre alla manipolazione tradizionale incentrata su oggetti e stili, la modifica di immagini *text-centric* si concentra sull'alterare, tradurre o riorganizzare elementi testuali incorporati nelle immagini. Tuttavia, i principali modelli esistenti spesso faticano a eseguire modifiche testuali complesse in modo preciso, producendo frequentemente caratteri sfocati o allucinati. Attribuiamo questi fallimenti principalmente alla mancanza di paradigmi di addestramento specializzati per la modifica *text-centric*, nonché all'assenza di dataset su larga scala e benchmark standardizzati necessari per un sistema di addestramento e valutazione a ciclo chiuso. Per affrontare queste limitazioni, presentiamo WeEdit, una soluzione sistematica che comprende una pipeline scalabile per la costruzione di dati, due benchmark e una strategia di addestramento su due stadi specificamente progettata. Nello specifico, proponiamo una nuova pipeline di modifica automatica basata su HTML, che genera 330.000 coppie di addestramento che coprono diverse operazioni di modifica e 15 lingue, accompagnate da benchmark bilingue e multilingue standardizzati per una valutazione completa. Sul versante algoritmico, impieghiamo un *fine-tuning* supervisionato guidato dalla glicemia per iniettare *prior* spaziali e di contenuto espliciti, seguito da una fase di apprendimento per rinforzo multi-obiettivo per allineare la generazione con l'aderenza alle istruzioni, la chiarezza del testo e la preservazione dello sfondo. Esperimenti estensivi dimostrano che WeEdit supera i precedenti modelli open-source con un margine significativo in diverse operazioni di modifica.

English

Instruction-based image editing aims to modify specific content within existing images according to user-provided instructions while preserving non-target regions. Beyond traditional object- and style-centric manipulation, text-centric image editing focuses on modifying, translating, or rearranging textual elements embedded within images. However, existing leading models often struggle to execute complex text editing precisely, frequently producing blurry or hallucinated characters. We attribute these failures primarily to the lack of specialized training paradigms tailored for text-centric editing, as well as the absence of large-scale datasets and standardized benchmarks necessary for a closed-loop training and evaluation system. To address these limitations, we present WeEdit, a systematic solution encompassing a scalable data construction pipeline, two benchmarks, and a tailored two-stage training strategy. Specifically, we propose a novel HTML-based automatic editing pipeline, which generates 330K training pairs covering diverse editing operations and 15 languages, accompanied by standardized bilingual and multilingual benchmarks for comprehensive evaluation. On the algorithmic side, we employ glyph-guided supervised fine-tuning to inject explicit spatial and content priors, followed by a multi-objective reinforcement learning stage to align generation with instruction adherence, text clarity, and background preservation. Extensive experiments demonstrate that WeEdit outperforms previous open-source models by a clear margin across diverse editing operations.