Análise Eficiente de Documentos por meio de Predição Paralela de Tokens
Efficient Document Parsing via Parallel Token Prediction
March 16, 2026
Autores: Lei Li, Ze Zhao, Meng Li, Zhongwang Lun, Yi Yuan, Xingjing Lu, Zheng Wei, Jiang Bian, Zang Li
cs.AI
Resumo
A análise de documentos, como uma tarefa de visão fundamental, mas crucial, está a ser revolucionada pelos modelos de visão e linguagem (VLM). No entanto, a descodagem autorregressiva (AR) inerente aos VLMs cria um estrangulamento significativo, limitando severamente a velocidade de análise. Neste artigo, propomos a Previsão de Tokens Paralelos (PTP), um método conectável, independente do modelo e simples, mas eficaz, que permite aos VLMs gerar múltiplos tokens futuros em paralelo com uma eficiência amostral melhorada. Especificamente, inserimos alguns tokens aprendíveis na sequência de entrada e projetamos objetivos de treino correspondentes para dotar o modelo de capacidades de descodagem paralela para análise de documentos. Além disso, para suportar um treino eficaz, desenvolvemos um pipeline abrangente de geração de dados que produz eficientemente dados de treino de análise de documentos em larga escala e de alta qualidade para VLMs. Experiências extensivas no OmniDocBench e olmOCR-bench demonstram que o nosso método não só melhora significativamente a velocidade de descodagem (1,6x-2,2x), como também reduz as alucinações do modelo e exibe fortes capacidades de generalização.
English
Document parsing, as a fundamental yet crucial vision task, is being revolutionized by vision-language models (VLMs). However, the autoregressive (AR) decoding inherent to VLMs creates a significant bottleneck, severely limiting parsing speed. In this paper, we propose Parallel-Token Prediction (PTP), a plugable, model-agnostic and simple-yet-effective method that enables VLMs to generate multiple future tokens in parallel with improved sample efficiency. Specifically, we insert some learnable tokens into the input sequence and design corresponding training objectives to equip the model with parallel decoding capabilities for document parsing. Furthermore, to support effective training, we develop a comprehensive data generation pipeline that efficiently produces large-scale, high-quality document parsing training data for VLMs. Extensive experiments on OmniDocBench and olmOCR-bench demonstrate that our method not only significantly improves decoding speed (1.6x-2.2x) but also reduces model hallucinations and exhibits strong generalization abilities.