MinerU-Diffusion: Repensando o OCR de Documentos como Renderização Inversa via Decodificação por Difusão

MinerU-Diffusion: Rethinking Document OCR as Inverse Rendering via Diffusion Decoding

March 23, 2026

Autores: Hejun Dong, Junbo Niu, Bin Wang, Weijun Zeng, Wentao Zhang, Conghui He

cs.AI

Resumo

A reconhecimento óptico de caracteres (OCR) evoluiu da transcrição ao nível de linha para a análise estruturada de documentos, exigindo que os modelos recuperem sequências de longo formato contendo layout, tabelas e fórmulas. Apesar dos recentes avanços em modelos de visão e linguagem, a maioria dos sistemas existentes depende de decodificação autoregressiva, o que introduz latência sequencial e amplifica a propagação de erros em documentos longos. Neste trabalho, revisitamos o OCR de documentos a partir de uma perspectiva de renderização inversa, argumentando que a geração causal da esquerda para a direita é um artefato de serialização em vez de uma propriedade intrínseca da tarefa. Motivados por esta percepção, propomos o MinerU-Diffusion, um framework unificado baseado em difusão que substitui a decodificação sequencial autoregressiva por desnudamento de difusão paralela sob condicionamento visual. O MinerU-Diffusion emprega um decodificador de difusão em blocos e uma estratégia de aprendizagem curricular orientada por incerteza para permitir treinamento estável e inferência eficiente de longas sequências. Experimentos extensivos demonstram que o MinerU-Diffusion melhora consistentemente a robustez enquanto alcança decodificação até 3,2x mais rápida em comparação com linhas de base autoregressivas. Avaliações no benchmark proposto Semantic Shuffle confirmam ainda sua reduzida dependência de prévias linguísticas e capacidade visual de OCR mais forte.

English

Optical character recognition (OCR) has evolved from line-level transcription to structured document parsing, requiring models to recover long-form sequences containing layout, tables, and formulas. Despite recent advances in vision-language models, most existing systems rely on autoregressive decoding, which introduces sequential latency and amplifies error propagation in long documents. In this work, we revisit document OCR from an inverse rendering perspective, arguing that left-to-right causal generation is an artifact of serialization rather than an intrinsic property of the task. Motivated by this insight, we propose MinerU-Diffusion, a unified diffusion-based framework that replaces autoregressive sequential decoding with parallel diffusion denoising under visual conditioning. MinerU-Diffusion employs a block-wise diffusion decoder and an uncertainty-driven curriculum learning strategy to enable stable training and efficient long-sequence inference. Extensive experiments demonstrate that MinerU-Diffusion consistently improves robustness while achieving up to 3.2x faster decoding compared to autoregressive baselines. Evaluations on the proposed Semantic Shuffle benchmark further confirm its reduced dependence on linguistic priors and stronger visual OCR capability.