Além da Resposta do Assistente: A Geração de Turnos do Usuário como Sonda da Consciência Interacional em Modelos de Linguagem

Beyond the Assistant Turn: User Turn Generation as a Probe of Interaction Awareness in Language Models

April 3, 2026

Autores: Sarath Shekkizhar, Romain Cosentino, Adam Earle

cs.AI

Resumo

Os benchmarks padrão de LLM avaliam o turno do assistente: o modelo gera uma resposta a uma entrada, um verificador pontua a correção e a análise termina. Este paradigma deixa sem medição se o LLM codifica qualquer consciência do que segue a resposta do assistente. Propomos a geração do turno do usuário como uma sonda para esta lacuna: dado um contexto de conversa com uma consulta do usuário e a resposta do assistente, permitimos que um modelo gere sob o papel do usuário. Se os pesos do modelo codificarem consciência da interação, o turno do usuário gerado será um acompanhamento fundamentado que reage ao contexto precedente. Através de experimentos com 11 LLMs de pesos abertos (Qwen3.5, gpt-oss, GLM) e 5 conjuntos de dados (raciocínio matemático, seguimento de instruções, conversação), mostramos que a consciência da interação é dissociada da precisão na tarefa. Em particular, na família Qwen3.5, a precisão no GSM8K escala de 41% (0.8B) para 96,8% (397B-A17B), enquanto as taxas de acompanhamento genuíno sob geração determinística permanecem próximas de zero. Em contraste, uma amostragem com temperatura mais alta revela que a consciência da interação está latente, com taxas de acompanhamento atingindo 22%. Perturbações controladas validam que a sonda proposta mede uma propriedade real do modelo, e o pós-treinamento orientado para colaboração no Qwen3.5-2B demonstra um aumento nas taxas de acompanhamento. Nossos resultados mostram que a geração do turno do usuário captura uma dimensão do comportamento do LLM, a consciência da interação, que é inexplorada e invisível com os benchmarks atuais focados apenas no assistente.

English

Standard LLM benchmarks evaluate the assistant turn: the model generates a response to an input, a verifier scores correctness, and the analysis ends. This paradigm leaves unmeasured whether the LLM encodes any awareness of what follows the assistant response. We propose user-turn generation as a probe of this gap: given a conversation context of user query and assistant response, we let a model generate under the user role. If the model's weights encode interaction awareness, the generated user turn will be a grounded follow-up that reacts to the preceding context. Through experiments across 11 open-weight LLMs (Qwen3.5, gpt-oss, GLM) and 5 datasets (math reasoning, instruction following, conversation), we show that interaction awareness is decoupled from task accuracy. In particular, within the Qwen3.5 family, GSM8K accuracy scales from 41% (0.8B) to 96.8% (397B-A17B), yet genuine follow-up rates under deterministic generation remain near zero. In contrast, higher temperature sampling reveals interaction awareness is latent with follow up rates reaching 22%. Controlled perturbations validate that the proposed probe measures a real property of the model, and collaboration-oriented post-training on Qwen3.5-2B demonstrates an increase in follow-up rates. Our results show that user-turn generation captures a dimension of LLM behavior, interaction awareness, that is unexplored and invisible with current assistant-only benchmarks.