MinerU-Diffusion: Переосмысление OCR документов как обратного рендеринга через диффузионное декодирование

MinerU-Diffusion: Rethinking Document OCR as Inverse Rendering via Diffusion Decoding

March 23, 2026

Авторы: Hejun Dong, Junbo Niu, Bin Wang, Weijun Zeng, Wentao Zhang, Conghui He

cs.AI

Аннотация

Оптическое распознавание символов (OCR) эволюционировало от транскрипции на уровне строк к структурированному парсингу документов, что требует от моделей восстановления длинных последовательностей, содержащих разметку, таблицы и формулы. Несмотря на недавние успехи в области визуально-языковых моделей, большинство существующих систем полагаются на авторегрессионное декодирование, которое вносит последовательную задержку и усиливает распространение ошибок в длинных документах. В данной работе мы переосмысливаем задачу OCR документов с точки зрения обратного рендеринга, утверждая, что причинно-следственное генерация слева направо является артефактом сериализации, а не внутренним свойством задачи. Руководствуясь этим наблюдением, мы предлагаем MinerU-Diffusion, унифицированную диффузионную модель, которая заменяет авторегрессионное последовательное декодирование на параллельное диффузионное шумоподавление при визуальном условии. MinerU-Diffusion использует блочный диффузионный декодер и стратегию обучения по учебному плану, управляемую неопределенностью, чтобы обеспечить стабильное обучение и эффективный вывод длинных последовательностей. Многочисленные эксперименты демонстрируют, что MinerU-Diffusion последовательно повышает устойчивость, достигая до 3.2-кратного ускорения декодирования по сравнению с авторегрессионными аналогами. Оценки на предложенном бенчмарке Semantic Shuffle дополнительно подтверждают снижение зависимости от лингвистических априорных знаний и усиление визуальных возможностей OCR.

English

Optical character recognition (OCR) has evolved from line-level transcription to structured document parsing, requiring models to recover long-form sequences containing layout, tables, and formulas. Despite recent advances in vision-language models, most existing systems rely on autoregressive decoding, which introduces sequential latency and amplifies error propagation in long documents. In this work, we revisit document OCR from an inverse rendering perspective, arguing that left-to-right causal generation is an artifact of serialization rather than an intrinsic property of the task. Motivated by this insight, we propose MinerU-Diffusion, a unified diffusion-based framework that replaces autoregressive sequential decoding with parallel diffusion denoising under visual conditioning. MinerU-Diffusion employs a block-wise diffusion decoder and an uncertainty-driven curriculum learning strategy to enable stable training and efficient long-sequence inference. Extensive experiments demonstrate that MinerU-Diffusion consistently improves robustness while achieving up to 3.2x faster decoding compared to autoregressive baselines. Evaluations on the proposed Semantic Shuffle benchmark further confirm its reduced dependence on linguistic priors and stronger visual OCR capability.