他に何を修正すべきか？—会話を通じて生成された成果物における修正伝播のための費用対効果の高いテスト時計算の探求

要旨

大規模言語モデル（LLM）は、会話における生成と改訂の反復サイクルを通じて、ユーザーによる成果物の生成を支援することが多い。ここでの課題は、ユーザーが改訂時に局所的な変更のみを指定した場合、LLMは関連する依存関係を特定し、その改訂を成果物の影響を受けるすべての部分に伝播させなければならないことである。本論文は、成果物の文脈とその依存関係が会話履歴に埋め込まれている可能性がある、会話中に生成された成果物に対するLLMのこの能力を研究する。実用化に向けて、本論文では、この新しい設定における費用対効果の高い推論時計算（test-time compute）についても検討する。具体的には、この設定のための新しいベンチマークを導入し、gpt-oss-20b/120b、gpt-5.4-mini、qwen3.5-9b/27b/122bを用いて、逐次リフレクションや並列サンプリングの変種を含む9つの改訂手法をベンチマーク上で評価する。結果は、ベースライン手法が68.3%～93%の精度を達成し、最も費用対効果の高い手法が、3つの並列サンプルからLLMベースの選択またはメドイド選択のいずれかを用いて選択する手法であり、精度を2.2%～9.7%向上させることを示している。我々のコードとデータセットは、https://github.com/ntt-dkiku/llm-revision-propagation で公開している。

English

Large Language Models (LLMs) often help users generate artifacts through iterative cycles of generation and revision in conversation. A challenge here is that, when users specify only a local change during revision, LLMs must instead identify the relevant dependencies and propagate the revision to all affected parts of the artifact. This paper studies this ability of LLMs on conversationally generated artifacts, where the artifact context and its dependencies may be embedded in the conversation history. Toward practical use, we also explore cost-effective test-time compute for this new setting. Specifically, we introduce a new benchmark for this setting, and evaluate nine revision methods, including sequential reflection and parallel sampling variants, using gpt-oss-20b/120b, gpt-5.4-mini, and qwen3.5-9b/27b/122b on the benchmark. The results show that baselines achieve accuracies of 68.3--93%, and the most cost-effective method is selecting from three parallel samples using either LLM-based or medoid selection, which improves accuracy by 2.2--9.7%. Our code and dataset are available at https://github.com/ntt-dkiku/llm-revision-propagation.