WeEdit: Een dataset, benchmark en glyfgeleid kader voor tekstgerichte beeldbewerking

Samenvatting

Instructiegestuurd beeldbewerking heeft als doel specifieke inhoud in bestaande afbeeldingen aan te passen volgens door de gebruiker verstrekte instructies, waarbij niet-doelgebieden behouden blijven. Naast traditionele object- en stijlgerichte manipulatie, richt tekstgerichte beeldbewerking zich op het wijzigen, vertalen of herschikken van tekstuele elementen die in afbeeldingen zijn ingebed. Toch slagen bestaande toonaangevende modellen er vaak niet in complexe tekstbewerkingen nauwkeurig uit te voeren, waarbij vaak wazige of gefantaseerde karakters worden geproduceerd. Wij schrijven deze tekortkomingen voornamelijk toe aan het ontbreken van gespecialiseerde trainingsparadigma's die zijn toegesneden op tekstgerichte bewerking, evenals het ontbreken van grootschalige datasets en gestandaardiseerde benchmarks die nodig zijn voor een gesloten trainings- en evaluatiesysteem. Om deze beperkingen aan te pakken, presenteren wij WeEdit, een systematische oplossing die een schaalbare dataconstructiepijplijn, twee benchmarks en een op maat gemaakte tweefasentrainingsstrategie omvat. Specifiek stellen wij een nieuwe HTML-gebaseerde automatische bewerkingspijplijn voor, die 330K trainingsparen genereert die diverse bewerkingsoperaties en 15 talen bestrijken, vergezeld van gestandaardiseerde tweetalige en meertalige benchmarks voor uitgebreide evaluatie. Aan algoritmische zijde passen wij glyph-geleide supervised fine-tuning toe om expliciete ruimtelijke en inhoudelijke priors in te brengen, gevolgd door een reinforcement learning-fase met meerdere doelstellingen om de gegenereerde output af te stemmen op instructievolging, teksthelderheid en achtergrondbehoud. Uitgebreide experimenten tonen aan dat WeEdit eerdere open-source modellen met een duidelijke marge overtreft bij diverse bewerkingsoperaties.

English

Instruction-based image editing aims to modify specific content within existing images according to user-provided instructions while preserving non-target regions. Beyond traditional object- and style-centric manipulation, text-centric image editing focuses on modifying, translating, or rearranging textual elements embedded within images. However, existing leading models often struggle to execute complex text editing precisely, frequently producing blurry or hallucinated characters. We attribute these failures primarily to the lack of specialized training paradigms tailored for text-centric editing, as well as the absence of large-scale datasets and standardized benchmarks necessary for a closed-loop training and evaluation system. To address these limitations, we present WeEdit, a systematic solution encompassing a scalable data construction pipeline, two benchmarks, and a tailored two-stage training strategy. Specifically, we propose a novel HTML-based automatic editing pipeline, which generates 330K training pairs covering diverse editing operations and 15 languages, accompanied by standardized bilingual and multilingual benchmarks for comprehensive evaluation. On the algorithmic side, we employ glyph-guided supervised fine-tuning to inject explicit spatial and content priors, followed by a multi-objective reinforcement learning stage to align generation with instruction adherence, text clarity, and background preservation. Extensive experiments demonstrate that WeEdit outperforms previous open-source models by a clear margin across diverse editing operations.

WeEdit: Een dataset, benchmark en glyfgeleid kader voor tekstgerichte beeldbewerking

WeEdit: A Dataset, Benchmark and Glyph-Guided Framework for Text-centric Image Editing

Samenvatting

Support