PARSER: 長コンテキストLLMエージェントのための並列読解と深層推論

要旨

逐次記憶エージェントは、長文書をチャンクごとに次々と読みながらコンパクトなメモリ状態を維持して処理し、文書走査と推論の深さを結合する。この結合により、根拠の配置に対する感度が生じ、推論レイテンシが文書長に線形に結びつく。我々は、読解と推論を分離するPARSERを導入する。各々が単一のチャンクに割り当てられた軽量サブエージェント群が文書全体を並列に読み、一方でリードエージェントが反復的なscatter-gatherラウンドを通じて深く推論する。各ラウンドで、リードエージェントはクエリを全サブエージェントにブロードキャストし、返された根拠を集約し、これまでに見つかった内容に条件づけられたより深い追加クエリを形成する。この分離設計は、学習可能な振る舞いをすべてリードエージェントに集中させ、リードエージェントは強化学習で最適化される一方、サブエージェントは凍結された既製モデルのままである。7Kから896Kトークンに及ぶコンテキストを用いたマルチホップQAにおいて、4Bバックボーンを用いたPARSERは、最強の逐次記憶ベースラインを平均で5.7ポイント、896Kトークンでは12.0ポイント上回る。9Bバックボーンにスケールすると、PARSERはDeepSeek-V4-Proを6.3ポイント上回る。制御実験により、PARSERが根拠の位置、順序、距離の摂動に対して頑健であることが確認される。これらの条件は逐次手法では精度に大きな変動を引き起こすが、PARSERは推論レイテンシを最大11倍削減する。

English

Sequential memory agents process long documents by reading chunks one after another while maintaining a compact memory state, coupling document traversal to reasoning depth. This coupling introduces sensitivity to evidence placement and ties inference latency linearly to document length. We introduce PARSER, which decouples reading from reasoning. A bank of lightweight subagents each bound to a single chunk read the entire document in parallel, while a lead agent reasons in depth through iterative scatter--gather rounds: at each round it broadcasts a query to all subagents, aggregates the returned evidence, and formulates a deeper follow-up query conditioned on what has been found so far. This decoupled design concentrates all learnable behavior in the lead agent, which is optimized with reinforcement learning, while the subagents remain frozen off-the-shelf models. On multi-hop QA with contexts ranging from 7K to 896K tokens, PARSER with a 4B backbone outperforms the strongest sequential memory baseline by 5.7 points on average and by 12.0 points at 896K tokens. Scaling to a 9B backbone, PARSER surpasses DeepSeek-V4-Pro by 6.3 points. Controlled experiments confirm that PARSER is robust to perturbations in evidence position, order, and distance, conditions that cause large accuracy swings in sequential methods, while reducing inference latency by up to 11x.