MinerU-Diffusion: Neukonzeption der Dokumenten-OCR als inverses Rendering mittels Diffusion-Decodierung
MinerU-Diffusion: Rethinking Document OCR as Inverse Rendering via Diffusion Decoding
March 23, 2026
Autoren: Hejun Dong, Junbo Niu, Bin Wang, Weijun Zeng, Wentao Zhang, Conghui He
cs.AI
Zusammenfassung
Die optische Zeichenerkennung (OCR) hat sich von der Transkription auf Zeilenebene zur Analyse strukturierter Dokumente entwickelt, was von Modellen verlangt, lange Sequenzen mit Layouts, Tabellen und Formeln zu rekonstruieren. Trotz jüngster Fortschritte bei Vision-Language-Modellen basieren die meisten bestehenden Systeme auf autoregressiver Decodierung, die sequentielle Latenz verursacht und die Fehlerfortpflanzung in langen Dokumenten verstärkt. In dieser Arbeit betrachten wir Dokumenten-OCR aus einer Inverse-Rendering-Perspektive neu und argumentieren, dass die links-nach-rechts kausale Generierung ein Artefakt der Serialisierung und keine intrinsische Eigenschaft der Aufgabe ist. Aufbauend auf dieser Erkenntnis schlagen wir MinerU-Diffusion vor, ein vereinheitlichtes, diffusionsbasiertes Framework, das autoregressive sequentielle Decodierung durch parallele Diffusions-Entrauschung unter visueller Konditionierung ersetzt. MinerU-Diffusion nutzt einen blockweisen Diffusions-Decoder und eine ungewissheitsgesteuerte Curriculum-Learning-Strategie, um stabiles Training und effiziente Inferenz langer Sequenzen zu ermöglichen. Umfangreiche Experimente zeigen, dass MinerU-Diffusion durchgängig die Robustheit verbessert und dabei eine bis zu 3,2-fach schnellere Decodierung im Vergleich zu autoregressiven Baseline-Modellen erreicht. Auswertungen auf dem vorgeschlagenen Semantic-Shuffle-Benchmark bestätigen weiterhin seine geringere Abhängigkeit von linguistischen Priors und seine stärkere visuelle OCR-Fähigkeit.
English
Optical character recognition (OCR) has evolved from line-level transcription to structured document parsing, requiring models to recover long-form sequences containing layout, tables, and formulas. Despite recent advances in vision-language models, most existing systems rely on autoregressive decoding, which introduces sequential latency and amplifies error propagation in long documents. In this work, we revisit document OCR from an inverse rendering perspective, arguing that left-to-right causal generation is an artifact of serialization rather than an intrinsic property of the task. Motivated by this insight, we propose MinerU-Diffusion, a unified diffusion-based framework that replaces autoregressive sequential decoding with parallel diffusion denoising under visual conditioning. MinerU-Diffusion employs a block-wise diffusion decoder and an uncertainty-driven curriculum learning strategy to enable stable training and efficient long-sequence inference. Extensive experiments demonstrate that MinerU-Diffusion consistently improves robustness while achieving up to 3.2x faster decoding compared to autoregressive baselines. Evaluations on the proposed Semantic Shuffle benchmark further confirm its reduced dependence on linguistic priors and stronger visual OCR capability.