WeEdit: Un conjunto de datos, punto de referencia y marco guiado por glifos para la edición de imágenes centrada en texto

WeEdit: A Dataset, Benchmark and Glyph-Guided Framework for Text-centric Image Editing

March 12, 2026

Autores: Hui Zhang, Juntao Liu, Zongkai Liu, Liqiang Niu, Fandong Meng, Zuxuan Wu, Yu-Gang Jiang

cs.AI

Resumen

La edición de imágenes basada en instrucciones tiene como objetivo modificar contenido específico dentro de imágenes existentes según las instrucciones proporcionadas por el usuario, preservando las regiones no objetivo. Más allá de la manipulación tradicional centrada en objetos y estilos, la edición de imágenes centrada en texto se enfoca en modificar, traducir o reorganizar elementos textuales incrustados en las imágenes. Sin embargo, los modelos líderes existentes a menudo luchan por ejecutar ediciones de texto complejas con precisión, produciendo frecuentemente caracteres borrosos o alucinados. Atribuimos estos fallos principalmente a la falta de paradigmas de entrenamiento especializados adaptados para la edición centrada en texto, así como a la ausencia de conjuntos de datos a gran escala y puntos de referencia estandarizados necesarios para un sistema de entrenamiento y evaluación de ciclo cerrado. Para abordar estas limitaciones, presentamos WeEdit, una solución sistemática que abarca una pipeline escalable de construcción de datos, dos benchmarks y una estrategia de entrenamiento en dos etapas adaptada. Específicamente, proponemos una novedosa pipeline de edición automática basada en HTML, que genera 330K pares de entrenamiento cubriendo diversas operaciones de edición y 15 idiomas, acompañada de benchmarks bilingües y multilingües estandarizados para una evaluación integral. En el lado algorítmico, empleamos un ajuste fino supervisado guiado por glifos para inyectar *priors* espaciales y de contenido explícitos, seguido de una etapa de aprendizaje por refuerzo multi-objetivo para alinear la generación con la adherencia a la instrucción, la claridad del texto y la preservación del fondo. Experimentos exhaustivos demuestran que WeEdit supera a los modelos de código abierto anteriores por un claro margen en diversas operaciones de edición.

English

Instruction-based image editing aims to modify specific content within existing images according to user-provided instructions while preserving non-target regions. Beyond traditional object- and style-centric manipulation, text-centric image editing focuses on modifying, translating, or rearranging textual elements embedded within images. However, existing leading models often struggle to execute complex text editing precisely, frequently producing blurry or hallucinated characters. We attribute these failures primarily to the lack of specialized training paradigms tailored for text-centric editing, as well as the absence of large-scale datasets and standardized benchmarks necessary for a closed-loop training and evaluation system. To address these limitations, we present WeEdit, a systematic solution encompassing a scalable data construction pipeline, two benchmarks, and a tailored two-stage training strategy. Specifically, we propose a novel HTML-based automatic editing pipeline, which generates 330K training pairs covering diverse editing operations and 15 languages, accompanied by standardized bilingual and multilingual benchmarks for comprehensive evaluation. On the algorithmic side, we employ glyph-guided supervised fine-tuning to inject explicit spatial and content priors, followed by a multi-objective reinforcement learning stage to align generation with instruction adherence, text clarity, and background preservation. Extensive experiments demonstrate that WeEdit outperforms previous open-source models by a clear margin across diverse editing operations.