Mecanismos de Mezcla: Cómo los Modelos de Lenguaje Recuperan Entidades Vinculadas En Contexto

Mixing Mechanisms: How Language Models Retrieve Bound Entities In-Context

October 7, 2025

Autores: Yoav Gur-Arieh, Mor Geva, Atticus Geiger

cs.AI

Resumen

Un componente clave del razonamiento en contexto es la capacidad de los modelos de lenguaje (LMs) para vincular entidades y recuperarlas posteriormente. Por ejemplo, un LM podría representar "Ann ama el pastel" vinculando "Ann" con "pastel", lo que le permitiría recuperar "Ann" cuando se le pregunte "¿Quién ama el pastel?". Investigaciones previas sobre listas cortas de entidades vinculadas encontraron evidencia sólida de que los LMs implementan dicha recuperación mediante un mecanismo posicional, donde "Ann" se recupera en función de su posición en el contexto. En este trabajo, encontramos que este mecanismo se generaliza pobremente en entornos más complejos; a medida que aumenta el número de entidades vinculadas en el contexto, el mecanismo posicional se vuelve ruidoso y poco confiable en posiciones intermedias. Para compensar esto, descubrimos que los LMs complementan el mecanismo posicional con un mecanismo léxico (recuperando "Ann" usando su contraparte vinculada "pastel") y un mecanismo reflexivo (recuperando "Ann" a través de un puntero directo). A través de extensos experimentos en nueve modelos y diez tareas de vinculación, descubrimos un patrón consistente en cómo los LMs combinan estos mecanismos para impulsar el comportamiento del modelo. Aprovechamos estas ideas para desarrollar un modelo causal que combina los tres mecanismos y estima las distribuciones del siguiente token con un 95% de concordancia. Finalmente, demostramos que nuestro modelo se generaliza a entradas sustancialmente más largas de texto abierto intercalado con grupos de entidades, lo que refuerza la solidez de nuestros hallazgos en entornos más naturales. En general, nuestro estudio establece una imagen más completa de cómo los LMs vinculan y recuperan entidades en contexto.

English

A key component of in-context reasoning is the ability of language models (LMs) to bind entities for later retrieval. For example, an LM might represent "Ann loves pie" by binding "Ann" to "pie", allowing it to later retrieve "Ann" when asked "Who loves pie?" Prior research on short lists of bound entities found strong evidence that LMs implement such retrieval via a positional mechanism, where "Ann" is retrieved based on its position in context. In this work, we find that this mechanism generalizes poorly to more complex settings; as the number of bound entities in context increases, the positional mechanism becomes noisy and unreliable in middle positions. To compensate for this, we find that LMs supplement the positional mechanism with a lexical mechanism (retrieving "Ann" using its bound counterpart "pie") and a reflexive mechanism (retrieving "Ann" through a direct pointer). Through extensive experiments on nine models and ten binding tasks, we uncover a consistent pattern in how LMs mix these mechanisms to drive model behavior. We leverage these insights to develop a causal model combining all three mechanisms that estimates next token distributions with 95% agreement. Finally, we show that our model generalizes to substantially longer inputs of open-ended text interleaved with entity groups, further demonstrating the robustness of our findings in more natural settings. Overall, our study establishes a more complete picture of how LMs bind and retrieve entities in-context.