어시스턴트 차원을 넘어: 언어 모델의 상호작용 인식 탐색으로서의 사용자 차원 생성

Beyond the Assistant Turn: User Turn Generation as a Probe of Interaction Awareness in Language Models

April 3, 2026

저자: Sarath Shekkizhar, Romain Cosentino, Adam Earle

cs.AI

초록

표준 LLM 벤치마크는 어시스턴트 차단을 평가합니다. 즉, 모델이 입력에 대한 응답을 생성하면 검증기가 정확도를 채점하고 분석이 종료됩니다. 이러한 패러다임은 LLM이 어시스턴트 응답 이후에 이어질 내용에 대한 인식을 어느 정도 포함하고 있는지 측정하지 못한 채로 남겨둡니다. 본 연구는 이러한 격차를 탐색하는 방법으로 사용자 차단 생성을 제안합니다. 사용자 질의와 어시스턴트 응답으로 구성된 대화 맥락이 주어졌을 때, 모델이 사용자 역할 하에 생성하도록 합니다. 모델의 가중치가 상호작용 인식을 포함하고 있다면, 생성된 사용자 차단은 선행 맥락에 반응하는 근거 기반 후속 질문이 될 것입니다. 11개의 오픈 가중치 LLM(Qwen3.5, gpt-oss, GLM)과 5개의 데이터셋(수학 추론, 지시 따르기, 대화)을 대상으로 한 실험을 통해, 상호작용 인식이 과제 정확도와 분리되어 있음을 보여줍니다. 특히 Qwen3.5 패밀리 내에서 GSM8K 정확도는 41%(0.8B)에서 96.8%(397B-A17B)로 확장되지만, 결정적 생성 조건에서 진정한 후속 질문 비율은 여전히 0%에 가깝습니다. 대조적으로, 높은 temperature 샘플링은 상호작용 인식이 잠재되어 있음을 보여주며 후속 질문 비율이 22%에 도달합니다. 제어된 교란 실험을 통해 제안된 탐색 방법이 모델의 실제 특성을 측정함을 검증하였으며, Qwen3.5-2B에 협력 중심 사후 훈련을 적용하면 후속 질문 비율이 증가함을 확인했습니다. 우리의 결과는 사용자 차단 생성이 기존의 어시스턴트 전용 벤치마크로는 탐색되지 않았고 보이지 않던 LLM 행동의 한 차원인 상호작용 인도를 포착함을 보여줍니다.

English

Standard LLM benchmarks evaluate the assistant turn: the model generates a response to an input, a verifier scores correctness, and the analysis ends. This paradigm leaves unmeasured whether the LLM encodes any awareness of what follows the assistant response. We propose user-turn generation as a probe of this gap: given a conversation context of user query and assistant response, we let a model generate under the user role. If the model's weights encode interaction awareness, the generated user turn will be a grounded follow-up that reacts to the preceding context. Through experiments across 11 open-weight LLMs (Qwen3.5, gpt-oss, GLM) and 5 datasets (math reasoning, instruction following, conversation), we show that interaction awareness is decoupled from task accuracy. In particular, within the Qwen3.5 family, GSM8K accuracy scales from 41% (0.8B) to 96.8% (397B-A17B), yet genuine follow-up rates under deterministic generation remain near zero. In contrast, higher temperature sampling reveals interaction awareness is latent with follow up rates reaching 22%. Controlled perturbations validate that the proposed probe measures a real property of the model, and collaboration-oriented post-training on Qwen3.5-2B demonstrates an increase in follow-up rates. Our results show that user-turn generation captures a dimension of LLM behavior, interaction awareness, that is unexplored and invisible with current assistant-only benchmarks.