DataEvolver: 텍스트가 풍부한 이미지 생성을 위한 자기 진화적 다중 에이전트 데이터 구축

초록

텍스트가 풍부한 이미지 생성은 이미지 생성 분야에서 가장 도전적인 과제 중 하나로, 모델이 시각적으로 사실적인 이미지를 생성함과 동시에 가독성이 뛰어나고 의미적으로 정렬되며 레이아웃이 일관된 텍스트를 렌더링해야 한다. 기존의 데이터 파이프라인은 일반적으로 정적 크롤-필터-고정 패러다임을 따른다. 즉, 후보 샘플을 수집하고, 한 번 필터링한 후, 승인된 데이터를 학습을 위해 고정한다. 그러나 거부된 샘플은 유용한 실패 신호(예: OCR 오류, 의미적 불일치)를 종종 포함하고 있음에도 불구하고 일반적으로 폐기된다. 그 결과, 이후의 구축 라운드에서 동일한 실패 모드가 반복될 수 있다. 이러한 한계를 해결하기 위해, 우리는 텍스트가 풍부한 이미지 데이터 구축을 위한 자기 진화적 다중 에이전트 프레임워크인 DataEvolver를 제안한다. DataEvolver는 데이터 구축을 피드백 기반 구축 정책 진화로 취급한다. 검색기는 후보 샘플을 수집하고, 검증기는 품질 점수와 거부 원인을 할당하며, 비평기는 라운드 수준의 피드백을 의미적 피드백으로 요약하고, 생성기는 표적 합성을 통해 미달 영역을 완성한다. 업데이트된 피드백 메모리는 이후 구축 라운드를 안내한다. 텍스트가 풍부한 이미지 생성 벤치마크에 대한 실험 결과, DataEvolver는 동일한 데이터 예산 하에서 고정 데이터셋 기준선보다 더 유용한 학습 데이터를 생산한다. PixArt-alpha에서 0.75M 규모로, DataEvolver는 TextScenesHQ에서 최강 기준선 대비 OCR-F1을 85.3% 향상시키고 LongTextBench에서는 35.3% 향상시킨다. 이러한 개선은 평가된 두 벤치마크 모두에서 일관되게 나타나며 Show-o2로도 전이되어, DataEvolver의 이점이 특정 다운스트림 생성기에 국한되지 않음을 시사한다. 이러한 결과는 거부된 샘플이 텍스트가 풍부한 이미지 데이터 구축을 개선하기 위한 실행 가능한 피드백을 제공할 수 있음을 보여준다.

English

Text-rich image generation is one of the most challenging settings in image generation, since models must simultaneously produce visually realistic images and render legible, semantically aligned, and layout-consistent text. Existing data pipelines usually follow a static crawl-filter-freeze paradigm. They collect candidate samples, filter them once, and freeze the accepted data for training. However, rejected samples are usually discarded, although they often contain useful failure signals such as OCR errors and semantic mismatches. As a result, later construction rounds may repeat the same failure modes. To address these limitations, we propose DataEvolver, a self-evolving multi-agent framework for text-rich image data construction. DataEvolver treats data construction as feedback-driven construction policy evolution. A Retriever collects candidate samples, a Verifier assigns quality scores and rejection causes, a Critic summarizes round-level feedback into semantic feedback, and a Generator completes under-covered regions through targeted synthesis. The updated feedback memory then guides the next construction round. Experiments on text-rich image generation benchmarks show that DataEvolver produces more useful training data than fixed-dataset baselines under matched data budgets. At the 0.75M scale on PixArt-alpha, DataEvolver improves OCR-F1 over the strongest baseline by 85.3 percent on TextScenesHQ and 35.3 percent on LongTextBench. The improvements are consistent across both evaluated benchmarks and also transfer to Show-o2, indicating that the benefit of DataEvolver is not tied to a single downstream generator. These results suggest that rejected samples can provide actionable feedback for improving text-rich image data construction.