Mecanismos de Mistura: Como Modelos de Linguagem Recuperam Entidades Vinculadas Em Contexto

Mixing Mechanisms: How Language Models Retrieve Bound Entities In-Context

October 7, 2025

Autores: Yoav Gur-Arieh, Mor Geva, Atticus Geiger

cs.AI

Resumo

Um componente fundamental do raciocínio em contexto é a capacidade dos modelos de linguagem (LMs) de vincular entidades para recuperação posterior. Por exemplo, um LM pode representar "Ann adora torta" vinculando "Ann" a "torta", permitindo que ele recupere "Ann" posteriormente quando perguntado "Quem adora torta?". Pesquisas anteriores sobre listas curtas de entidades vinculadas encontraram evidências robustas de que os LMs implementam essa recuperação por meio de um mecanismo posicional, onde "Ann" é recuperada com base em sua posição no contexto. Neste trabalho, descobrimos que esse mecanismo generaliza mal para cenários mais complexos; à medida que o número de entidades vinculadas no contexto aumenta, o mecanismo posicional se torna ruidoso e pouco confiável em posições intermediárias. Para compensar isso, descobrimos que os LMs complementam o mecanismo posicional com um mecanismo léxico (recuperando "Ann" usando sua contraparte vinculada "torta") e um mecanismo reflexivo (recuperando "Ann" por meio de um ponteiro direto). Por meio de extensos experimentos em nove modelos e dez tarefas de vinculação, revelamos um padrão consistente em como os LMs combinam esses mecanismos para direcionar o comportamento do modelo. Aproveitamos esses insights para desenvolver um modelo causal que combina todos os três mecanismos e estima as distribuições do próximo token com 95% de concordância. Por fim, mostramos que nosso modelo generaliza para entradas substancialmente mais longas de texto aberto intercalado com grupos de entidades, demonstrando ainda mais a robustez de nossas descobertas em cenários mais naturais. No geral, nosso estudo estabelece uma visão mais completa de como os LMs vinculam e recuperam entidades em contexto.

English

A key component of in-context reasoning is the ability of language models (LMs) to bind entities for later retrieval. For example, an LM might represent "Ann loves pie" by binding "Ann" to "pie", allowing it to later retrieve "Ann" when asked "Who loves pie?" Prior research on short lists of bound entities found strong evidence that LMs implement such retrieval via a positional mechanism, where "Ann" is retrieved based on its position in context. In this work, we find that this mechanism generalizes poorly to more complex settings; as the number of bound entities in context increases, the positional mechanism becomes noisy and unreliable in middle positions. To compensate for this, we find that LMs supplement the positional mechanism with a lexical mechanism (retrieving "Ann" using its bound counterpart "pie") and a reflexive mechanism (retrieving "Ann" through a direct pointer). Through extensive experiments on nine models and ten binding tasks, we uncover a consistent pattern in how LMs mix these mechanisms to drive model behavior. We leverage these insights to develop a causal model combining all three mechanisms that estimates next token distributions with 95% agreement. Finally, we show that our model generalizes to substantially longer inputs of open-ended text interleaved with entity groups, further demonstrating the robustness of our findings in more natural settings. Overall, our study establishes a more complete picture of how LMs bind and retrieve entities in-context.