LLMは変化するユーザーの意図に迷う

要旨

大規模言語モデル（LLM）の能力が向上するにつれ、それらは協調エージェントとしてますます広く利用され、反復的な対話を通じてユーザーから委任されたタスクを遂行するようになっている。しかしながら、真の相互作用は本質的に動的なものである。ユーザーが自身の意図をあらかじめ完全に指定することは稀であり、会話の進行に伴ってそれを開示し、修正し、再形成するのである。それにもかかわらず、LLMは依然として主に単一ターンで完全に指定された設定において評価または訓練されており、基本的な疑問が残る。すなわち、LLMは会話の過程で進化するユーザーの意図をどの程度追跡し、それに基づいて行動できるのかという点である。この問題を研究するために、本稿では静的な単一ターンタスクを動的なマルチターン会話へと変換する枠組みを導入する。この会話では、ユーザーの意図がターンごとに進化し――徐々に明らかにされ、修正され、時には会話の途中で方向転換される――、その一方で各タスクの本来の評価プロトコルを維持する。これにより、新たなアノテーションを行うことなく、既存のベンチマークを制御されたテストベッドとして再利用することが可能となる。複数のタスクにわたって、我々は一貫した現象を明らかにした。すなわち、静的な設定での高い性能は、進化する意図の設定には転移せず、モデルファミリー全体で大幅な性能低下が見られるのである。我々の知見は、根本的なギャップを指し示している。現在のLLMは、ユーザーの進化する意図を忠実に追跡し、それに基づいて行動することがまだできていない。この能力は静的評価では見えないが、将来の協調エージェントにとっては極めて重要である。

English

As LLMs become more capable, they are increasingly deployed as collaborative agents, taking on user-delegated tasks through iterative interaction. Yet genuine interaction is inherently dynamic: users rarely specify their intent upfront, instead disclosing, revising, and reshaping it as the conversation unfolds. Despite this, LLMs are still predominantly evaluated or trained in single-turn, fully-specified settings, leaving open a fundamental question: how well do LLMs track and act on user intent as it evolves over the course of a conversation? To study this, we introduce a framework that transforms static, single-turn tasks into dynamic multi-turn conversations in which the user's intent evolves across turns--incrementally revealed, revised, and at times redirected mid-conversation--while preserving each task's original evaluation protocol, enabling existing benchmarks to be reused as controlled testbeds without new annotation. Across multiple tasks, we surface a consistent phenomenon: strong static-setting performance does not transfer to the evolving-intent setting, with substantial drops across model families. Our findings point to a fundamental gap: today's LLMs do not yet faithfully track and act on the user's evolving intent, a capability invisible to static evaluation yet critical for future collaborative agents.