PaDoc: 文書解析のためのレイアウトに基づく並列デコード

要旨

エンドツーエンド文書パーサーは統一インターフェースを提供するが、ページレイアウトと領域コンテンツを単一の自己回帰シーケンスに直列化する。この定式化は、独立した領域を、総コンテンツ量に応じて長さが増大する復号経路に強制する。一方、クロップベースの二段階パーサーは、繰り返されるビジュアルプリフィルと断片化されたページコンテキストを犠牲にして、領域レベルの並列性を実現する。依存関係を除去しつつ全ページコンテキストを保持するために、我々はPaDocを提案する。PaDocは、予測されたレイアウトを共有ページ表現上の分岐構造として扱う、レイアウト基盤のパーサーである。領域十分性の仮定の下で、レイアウトストリームと領域コンテンツの分岐が並行して進むプレフィックス条件付き因子分解を導出し、復号深度を最長のレイアウト・コンテンツパスに削減する。我々はこの因子分解を単一のMLLM内で実現する。パックされた可変長祖先アテンションは、標準的な次トークン学習の下で可視性を保持し、一方マスク並列復号は、評価対象のvLLMバックエンドがキャッシュ常駐の共有プレフィックス再利用を伴う並行リクエストとして処理する分岐を生成する。OmniDocBench Fullにおいて、PaDocはOverallレイアウトF1 91.1を達成し、エンドツーエンドパーサーの中では、トップクラスのOverallスコア94.24を、最高のText Edit（0.038）およびFormula CDM（95.59）とともに達成する。384ページのサブセットと1つのA800 GPU上で、5つの並行度レベルにおいて最速のエンドツーエンドパーサーであり、同一バックボーンのシーケンシャルSFTベースラインと比較して、有効ページスループットを67.4〜118%向上させ、P95レイテンシを39.2〜54.9%削減する。コードはhttps://github.com/Longin-Yu/Padocで公開されている。

English

End-to-end document parsers provide a unified interface, but serialize page layouts and regional contents into one autoregressive sequence. This formulation forces independent regions onto a decoding path whose length grows with the total content, whereas crop-based two-stage parsers expose region-level parallelism at the cost of repeated visual prefills and fragmented page context. To retain full-page context while removing dependencies, we propose PaDoc, a layout-grounded parser that treats the predicted layout as a branching structure over a shared page representation. Under a region-sufficiency assumption, we derive a prefix-conditioned factorization in which the layout stream and regional content branches advance concurrently, reducing the decoding depth to the longest layout-content path. We realize this factorization within a single MLLM: packed variable-length ancestor attention preserves the visibility under standard next-token training, while masked parallel decoding creates branches that the evaluated vLLM backend serves as concurrent requests with cache-resident shared-prefix reuse. On OmniDocBench Full, PaDoc attains an Overall layout F1 of 91.1 and, among end-to-end parsers, a top-tier Overall score of 94.24 together with the best Text Edit (0.038) and Formula CDM (95.59). On a 384-page subset and one A800 GPU, it is the fastest end-to-end parser at five concurrency levels, improving valid-page throughput by 67.4-118% and reducing P95 latency by 39.2-54.9% relative to a same-backbone Sequential SFT baseline. Code is available at https://github.com/Longin-Yu/Padoc