LLM, 진화하는 사용자 의도에 길을 잃다

초록

대규모 언어 모델(LLM)의 성능이 향상됨에 따라, 이들은 점차 협력적 에이전트로서 배치되어 반복적 상호작용을 통해 사용자로부터 위임받은 작업을 수행하고 있다. 그러나 진정한 상호작용은 본질적으로 역동적이다. 사용자는 대화가 전개됨에 따라 자신의 의도를 점진적으로 드러내고, 수정하며, 재구성할 뿐, 처음부터 완전히 명시하는 경우는 드물다. 이러한 현실에도 불구하고, LLM은 여전히 주로 단일 턴(single-turn)의 완전 명시적(fully-specified) 환경에서 평가되거나 훈련되며, 이는 근본적인 질문을 남긴다: LLM은 대화가 진행됨에 따라 진화하는 사용자의 의도를 얼마나 잘 추적하고 이에 따라 행동할 수 있는가? 이 질문을 연구하기 위해, 우리는 정적이며 단일 턴인 작업을 동적 다중 턴(multi-turn) 대화로 변환하는 프레임워크를 도입한다. 이 프레임워크에서 사용자의 의도는 턴을 거듭하며 진화하는데, 즉 대화 중간에 점진적으로 드러나고, 수정되며, 때로는 방향이 전환되기도 한다. 동시에 각 작업의 원래 평가 프로토콜은 유지되어, 새로운 주석 없이도 기존 벤치마크를 통제된 테스트베드로 재사용할 수 있게 한다. 여러 작업에 걸쳐 우리는 일관된 현상을 발견했다: 정적 환경에서의 강력한 성능이 진화하는 의도(intent) 환경에서는 이어지지 않으며, 모델 제품군 전반에 걸쳐 상당한 성능 저하가 발생한다. 본 연구 결과는 근본적인 격차를 지적한다: 오늘날의 LLM은 사용자의 진화하는 의도를 충실히 추적하고 이에 따라 행동하지 못하며, 이러한 능력은 정적 평가로는 드러나지 않지만 미래의 협력적 에이전트에게는 매우 중요하다.

English

As LLMs become more capable, they are increasingly deployed as collaborative agents, taking on user-delegated tasks through iterative interaction. Yet genuine interaction is inherently dynamic: users rarely specify their intent upfront, instead disclosing, revising, and reshaping it as the conversation unfolds. Despite this, LLMs are still predominantly evaluated or trained in single-turn, fully-specified settings, leaving open a fundamental question: how well do LLMs track and act on user intent as it evolves over the course of a conversation? To study this, we introduce a framework that transforms static, single-turn tasks into dynamic multi-turn conversations in which the user's intent evolves across turns--incrementally revealed, revised, and at times redirected mid-conversation--while preserving each task's original evaluation protocol, enabling existing benchmarks to be reused as controlled testbeds without new annotation. Across multiple tasks, we surface a consistent phenomenon: strong static-setting performance does not transfer to the evolving-intent setting, with substantial drops across model families. Our findings point to a fundamental gap: today's LLMs do not yet faithfully track and act on the user's evolving intent, a capability invisible to static evaluation yet critical for future collaborative agents.