Analisi Efficiente di Documenti tramite Predizione Parallela di Token
Efficient Document Parsing via Parallel Token Prediction
March 16, 2026
Autori: Lei Li, Ze Zhao, Meng Li, Zhongwang Lun, Yi Yuan, Xingjing Lu, Zheng Wei, Jiang Bian, Zang Li
cs.AI
Abstract
L'analisi dei documenti, come compito visivo fondamentale ma cruciale, sta subendo una rivoluzione grazie ai modelli visione-linguaggio (VLM). Tuttavia, la decodifica autoregressiva (AR) intrinseca ai VLM crea un collo di bottiglia significativo, limitando fortemente la velocità di analisi. In questo articolo, proponiamo Parallel-Token Prediction (PTP), un metodo inseribile, indipendente dal modello e semplice ma efficace, che consente ai VLM di generare più token futuri in parallelo con un'efficienza campionaria migliorata. Nello specifico, inseriamo alcuni token apprendibili nella sequenza di input e progettiamo corrispondenti obiettivi di addestramento per dotare il modello di capacità di decodifica parallela per l'analisi dei documenti. Inoltre, per supportare un addestramento efficace, sviluppiamo una pipeline completa di generazione dati che produce efficientemente dati di addestramento per l'analisi dei documenti su larga scala e di alta qualità per i VLM. Esperimenti estensivi su OmniDocBench e olmOCR-bench dimostrano che il nostro metodo non solo migliora significativamente la velocità di decodifica (1.6x-2.2x), ma riduce anche le allucinazioni del modello ed esibisce forti capacità di generalizzazione.
English
Document parsing, as a fundamental yet crucial vision task, is being revolutionized by vision-language models (VLMs). However, the autoregressive (AR) decoding inherent to VLMs creates a significant bottleneck, severely limiting parsing speed. In this paper, we propose Parallel-Token Prediction (PTP), a plugable, model-agnostic and simple-yet-effective method that enables VLMs to generate multiple future tokens in parallel with improved sample efficiency. Specifically, we insert some learnable tokens into the input sequence and design corresponding training objectives to equip the model with parallel decoding capabilities for document parsing. Furthermore, to support effective training, we develop a comprehensive data generation pipeline that efficiently produces large-scale, high-quality document parsing training data for VLMs. Extensive experiments on OmniDocBench and olmOCR-bench demonstrate that our method not only significantly improves decoding speed (1.6x-2.2x) but also reduces model hallucinations and exhibits strong generalization abilities.