DataEvolver: самоэволюционирующее мультиагентное построение данных для генерации изображений с насыщенным текстом

Аннотация

Генерация изображений с насыщенным текстом является одной из наиболее сложных задач в области генерации изображений, поскольку модели должны одновременно создавать визуально реалистичные изображения и воспроизводить разборчивый, семантически согласованный и соответствующий макету текст. Существующие конвейеры данных обычно следуют статической парадигме «сбор — фильтрация — заморозка». Они собирают образцы-кандидаты, однократно фильтруют их и фиксируют принятые данные для обучения. Однако отклонённые образцы, как правило, отбрасываются, хотя они часто содержат полезные сигналы об ошибках, такие как ошибки OCR и семантические несоответствия. В результате последующие циклы построения могут повторять те же сценарии сбоев. Чтобы устранить эти ограничения, мы предлагаем DataEvolver — саморазвивающуюся мультиагентную систему для построения данных для генерации изображений с насыщенным текстом. DataEvolver рассматривает построение данных как эволюцию политики построения на основе обратной связи. Поисковик собирает образцы-кандидаты, верификатор назначает оценки качества и причины отклонения, критик обобщает обратную связь на уровне раунда в семантическую обратную связь, а генератор заполняет недостаточно охваченные области с помощью целевого синтеза. Обновлённая память обратной связи затем направляет следующий раунд построения. Эксперименты на эталонных тестах генерации изображений с насыщенным текстом показывают, что DataEvolver производит более полезные обучающие данные, чем базовые методы с фиксированным набором данных, при сопоставимых бюджетах данных. В масштабе 0,75 млн на PixArt-alpha DataEvolver улучшает OCR-F1 по сравнению с сильнейшим базовым методом на 85,3% на TextScenesHQ и на 35,3% на LongTextBench. Улучшения согласованно наблюдаются на обоих оцениваемых эталонных тестах и переносятся на Show-o2, что указывает на то, что преимущество DataEvolver не привязано к одному конкретному генератору нижнего уровня. Эти результаты позволяют предположить, что отклонённые образцы могут предоставлять действенную обратную связь для улучшения построения данных для изображений с насыщенным текстом.

English

Text-rich image generation is one of the most challenging settings in image generation, since models must simultaneously produce visually realistic images and render legible, semantically aligned, and layout-consistent text. Existing data pipelines usually follow a static crawl-filter-freeze paradigm. They collect candidate samples, filter them once, and freeze the accepted data for training. However, rejected samples are usually discarded, although they often contain useful failure signals such as OCR errors and semantic mismatches. As a result, later construction rounds may repeat the same failure modes. To address these limitations, we propose DataEvolver, a self-evolving multi-agent framework for text-rich image data construction. DataEvolver treats data construction as feedback-driven construction policy evolution. A Retriever collects candidate samples, a Verifier assigns quality scores and rejection causes, a Critic summarizes round-level feedback into semantic feedback, and a Generator completes under-covered regions through targeted synthesis. The updated feedback memory then guides the next construction round. Experiments on text-rich image generation benchmarks show that DataEvolver produces more useful training data than fixed-dataset baselines under matched data budgets. At the 0.75M scale on PixArt-alpha, DataEvolver improves OCR-F1 over the strongest baseline by 85.3 percent on TextScenesHQ and 35.3 percent on LongTextBench. The improvements are consistent across both evaluated benchmarks and also transfer to Show-o2, indicating that the benefit of DataEvolver is not tied to a single downstream generator. These results suggest that rejected samples can provide actionable feedback for improving text-rich image data construction.