MinerU-Diffusion : Repenser la reconnaissance optique de documents comme un rendu inverse via un décodage par diffusion

MinerU-Diffusion: Rethinking Document OCR as Inverse Rendering via Diffusion Decoding

March 23, 2026

Auteurs: Hejun Dong, Junbo Niu, Bin Wang, Weijun Zeng, Wentao Zhang, Conghui He

cs.AI

Résumé

La reconnaissance optique de caractères (OCR) a évolué de la transcription au niveau des lignes vers l'analyse structurelle de documents, exigeant des modèles qu'ils reconstituent des séquences longues incluant la mise en page, les tableaux et les formules. Malgré les récents progrès des modèles vision-langage, la plupart des systèmes existants reposent sur un décodage autorégressif, qui introduit une latence séquentielle et amplifie la propagation des erreurs dans les documents longs. Dans ce travail, nous revisitons l'OCR documentaire sous l'angle du rendu inverse, en soutenant que la génération causale gauche-droite est un artefact de la sérialisation plutôt qu'une propriété intrinsèque de la tâche. Motivés par cette intuition, nous proposons MinerU-Diffusion, un framework unifié basé sur la diffusion qui remplace le décodage séquentiel autorégressif par un débruitage par diffusion parallèle sous conditionnement visuel. MinerU-Diffusion utilise un décodeur à diffusion par blocs et une stratégie d'apprentissage curriculum pilotée par l'incertitude pour permettre un entraînement stable et une inférence efficace sur les séquences longues. Des expériences approfondies démontrent que MinerU-Diffusion améliore constamment la robustesse tout en atteignant un décodage jusqu'à 3,2 fois plus rapide que les bases de référence autorégressives. Les évaluations sur le benchmark Semantic Shuffle proposé confirment en outre sa moindre dépendance aux prérequis linguistiques et sa capacité OCR visuelle renforcée.

English

Optical character recognition (OCR) has evolved from line-level transcription to structured document parsing, requiring models to recover long-form sequences containing layout, tables, and formulas. Despite recent advances in vision-language models, most existing systems rely on autoregressive decoding, which introduces sequential latency and amplifies error propagation in long documents. In this work, we revisit document OCR from an inverse rendering perspective, arguing that left-to-right causal generation is an artifact of serialization rather than an intrinsic property of the task. Motivated by this insight, we propose MinerU-Diffusion, a unified diffusion-based framework that replaces autoregressive sequential decoding with parallel diffusion denoising under visual conditioning. MinerU-Diffusion employs a block-wise diffusion decoder and an uncertainty-driven curriculum learning strategy to enable stable training and efficient long-sequence inference. Extensive experiments demonstrate that MinerU-Diffusion consistently improves robustness while achieving up to 3.2x faster decoding compared to autoregressive baselines. Evaluations on the proposed Semantic Shuffle benchmark further confirm its reduced dependence on linguistic priors and stronger visual OCR capability.