DataEvolver : Construction de données multi-agents auto-évolutive pour la génération d'images riches en texte

Résumé

La génération d'images riches en texte est l'un des contextes les plus exigeants dans le domaine de la génération d'images, car les modèles doivent simultanément produire des images visuellement réalistes et rendre un texte lisible, sémantiquement aligné et cohérent en termes de mise en page. Les pipelines de données existants suivent généralement un paradigme statique de collecte-filtrage-gel. Ils collectent des échantillons candidats, les filtrent une fois, et gèlent les données acceptées pour l'entraînement. Cependant, les échantillons rejetés sont généralement écartés, bien qu'ils contiennent souvent des signaux d'échec utiles tels que des erreurs OCR et des inadéquations sémantiques. En conséquence, les cycles de construction ultérieurs peuvent répéter les mêmes modes d'échec. Pour pallier ces limitations, nous proposons DataEvolver, un cadre multi-agents auto-évolutif pour la construction de données d'images riches en texte. DataEvolver considère la construction de données comme une évolution de la politique de construction guidée par des retours. Un Récupérateur collecte des échantillons candidats, un Vérificateur attribue des scores de qualité et des causes de rejet, un Critique résume les retours au niveau du cycle en retours sémantiques, et un Générateur complète les zones sous-couvertes par une synthèse ciblée. La mémoire de retours mise à jour guide ensuite le cycle de construction suivant. Des expériences sur des bancs d'essai de génération d'images riches en texte montrent que DataEvolver produit des données d'entraînement plus utiles que les ensembles de données fixes de référence sous des budgets de données équivalents. À l'échelle de 0,75 M sur PixArt-alpha, DataEvolver améliore le score OCR-F1 de 85,3 % sur TextScenesHQ et de 35,3 % sur LongTextBench par rapport à la référence la plus forte. Les améliorations sont cohérentes sur les deux bancs d'essai évalués et se transfèrent également à Show-o2, indiquant que l'avantage de DataEvolver n'est pas lié à un seul générateur en aval. Ces résultats suggèrent que les échantillons rejetés peuvent fournir des retours exploitables pour améliorer la construction de données d'images riches en texte.

English

Text-rich image generation is one of the most challenging settings in image generation, since models must simultaneously produce visually realistic images and render legible, semantically aligned, and layout-consistent text. Existing data pipelines usually follow a static crawl-filter-freeze paradigm. They collect candidate samples, filter them once, and freeze the accepted data for training. However, rejected samples are usually discarded, although they often contain useful failure signals such as OCR errors and semantic mismatches. As a result, later construction rounds may repeat the same failure modes. To address these limitations, we propose DataEvolver, a self-evolving multi-agent framework for text-rich image data construction. DataEvolver treats data construction as feedback-driven construction policy evolution. A Retriever collects candidate samples, a Verifier assigns quality scores and rejection causes, a Critic summarizes round-level feedback into semantic feedback, and a Generator completes under-covered regions through targeted synthesis. The updated feedback memory then guides the next construction round. Experiments on text-rich image generation benchmarks show that DataEvolver produces more useful training data than fixed-dataset baselines under matched data budgets. At the 0.75M scale on PixArt-alpha, DataEvolver improves OCR-F1 over the strongest baseline by 85.3 percent on TextScenesHQ and 35.3 percent on LongTextBench. The improvements are consistent across both evaluated benchmarks and also transfer to Show-o2, indicating that the benefit of DataEvolver is not tied to a single downstream generator. These results suggest that rejected samples can provide actionable feedback for improving text-rich image data construction.