WeEdit: Ein Datensatz, Benchmark und glyphengeführtes Framework für textzentrierte Bildbearbeitung

WeEdit: A Dataset, Benchmark and Glyph-Guided Framework for Text-centric Image Editing

March 12, 2026

Autoren: Hui Zhang, Juntao Liu, Zongkai Liu, Liqiang Niu, Fandong Meng, Zuxuan Wu, Yu-Gang Jiang

cs.AI

Zusammenfassung

Instruktionsbasierte Bildbearbeitung zielt darauf ab, spezifische Inhalte in vorhandenen Bildern entsprechend benutzerdefinierter Anweisungen zu modifizieren, während nicht betroffene Bereiche erhalten bleiben. Über traditionelle objekt- und stilzentrierte Manipulationen hinaus konzentriert sich textzentrierte Bildbearbeitung auf das Ändern, Übersetzen oder Neuanordnen von Textelementen innerhalb von Bildern. Allerdings bestehen bei führenden existierenden Modellen häufig Schwierigkeiten, komplexe Textbearbeitungen präzise auszuführen, was oft zu unscharfen oder halluzinierten Zeichen führt. Wir führen diese Fehler hauptsächlich auf das Fehlen spezialisierter Trainingsparadigmen für textzentrierte Bearbeitung sowie auf den Mangel an großangelegten Datensätzen und standardisierten Benchmarks zurück, die für ein geschlossenes Trainings- und Evaluierungssystem notwendig sind. Um diese Einschränkungen zu adressieren, präsentieren wir WeEdit, eine systematische Lösung, die eine skalierbare Datenkonstruktions-Pipeline, zwei Benchmarks und eine maßgeschneiderte zweistufige Trainingsstrategie umfasst. Konkret schlagen wir eine neuartige HTML-basierte automatische Bearbeitungspipeline vor, die 330.000 Trainingspaare mit diversen Bearbeitungsoperationen und 15 Sprachen generiert, ergänzt durch standardisierte bilinguale und multilinguale Benchmarks für eine umfassende Evaluation. Auf algorithmischer Seite setzen wir glyph-geführtes supervidiertes Feintuning ein, um explizite räumliche und inhaltliche Priors zu vermitteln, gefolgt von einer Reinforcement-Learning-Phase mit multiplen Zielen, um die Generierung an Befolgung der Instruktion, Textklarheit und Hintergrunderhaltung auszurichten. Umfangreiche Experimente zeigen, dass WeEdit bisherige Open-Source-Modelle bei diversen Bearbeitungsoperationen deutlich übertrifft.

English

Instruction-based image editing aims to modify specific content within existing images according to user-provided instructions while preserving non-target regions. Beyond traditional object- and style-centric manipulation, text-centric image editing focuses on modifying, translating, or rearranging textual elements embedded within images. However, existing leading models often struggle to execute complex text editing precisely, frequently producing blurry or hallucinated characters. We attribute these failures primarily to the lack of specialized training paradigms tailored for text-centric editing, as well as the absence of large-scale datasets and standardized benchmarks necessary for a closed-loop training and evaluation system. To address these limitations, we present WeEdit, a systematic solution encompassing a scalable data construction pipeline, two benchmarks, and a tailored two-stage training strategy. Specifically, we propose a novel HTML-based automatic editing pipeline, which generates 330K training pairs covering diverse editing operations and 15 languages, accompanied by standardized bilingual and multilingual benchmarks for comprehensive evaluation. On the algorithmic side, we employ glyph-guided supervised fine-tuning to inject explicit spatial and content priors, followed by a multi-objective reinforcement learning stage to align generation with instruction adherence, text clarity, and background preservation. Extensive experiments demonstrate that WeEdit outperforms previous open-source models by a clear margin across diverse editing operations.