Mécanismes de mélange : Comment les modèles de langage récupèrent les entités liées En contexte

Mixing Mechanisms: How Language Models Retrieve Bound Entities In-Context

October 7, 2025

papers.authors: Yoav Gur-Arieh, Mor Geva, Atticus Geiger

cs.AI

papers.abstract

Un élément clé du raisonnement en contexte est la capacité des modèles de langage (ML) à lier des entités pour une récupération ultérieure. Par exemple, un ML pourrait représenter "Ann aime la tarte" en liant "Ann" à "tarte", lui permettant ainsi de récupérer "Ann" lorsqu'on lui demande "Qui aime la tarte ?" Des recherches antérieures sur de courtes listes d'entités liées ont révélé des preuves solides que les ML mettent en œuvre une telle récupération via un mécanisme positionnel, où "Ann" est récupérée en fonction de sa position dans le contexte. Dans ce travail, nous constatons que ce mécanisme se généralise mal à des contextes plus complexes ; à mesure que le nombre d'entités liées dans le contexte augmente, le mécanisme positionnel devient bruyant et peu fiable pour les positions intermédiaires. Pour compenser cela, nous observons que les ML complètent le mécanisme positionnel par un mécanisme lexical (récupérant "Ann" en utilisant son homologue lié "tarte") et un mécanisme réflexif (récupérant "Ann" via un pointeur direct). À travers des expériences approfondies sur neuf modèles et dix tâches de liaison, nous dégageons un schéma cohérent dans la manière dont les ML mélangent ces mécanismes pour influencer le comportement du modèle. Nous exploitons ces insights pour développer un modèle causal combinant les trois mécanismes, qui estime les distributions de tokens suivants avec un accord de 95 %. Enfin, nous montrons que notre modèle se généralise à des entrées substantiellement plus longues de texte ouvert entrecoupé de groupes d'entités, démontrant davantage la robustesse de nos résultats dans des contextes plus naturels. Globalement, notre étude établit une vision plus complète de la manière dont les ML lient et récupèrent les entités en contexte.

English

A key component of in-context reasoning is the ability of language models (LMs) to bind entities for later retrieval. For example, an LM might represent "Ann loves pie" by binding "Ann" to "pie", allowing it to later retrieve "Ann" when asked "Who loves pie?" Prior research on short lists of bound entities found strong evidence that LMs implement such retrieval via a positional mechanism, where "Ann" is retrieved based on its position in context. In this work, we find that this mechanism generalizes poorly to more complex settings; as the number of bound entities in context increases, the positional mechanism becomes noisy and unreliable in middle positions. To compensate for this, we find that LMs supplement the positional mechanism with a lexical mechanism (retrieving "Ann" using its bound counterpart "pie") and a reflexive mechanism (retrieving "Ann" through a direct pointer). Through extensive experiments on nine models and ten binding tasks, we uncover a consistent pattern in how LMs mix these mechanisms to drive model behavior. We leverage these insights to develop a causal model combining all three mechanisms that estimates next token distributions with 95% agreement. Finally, we show that our model generalizes to substantially longer inputs of open-ended text interleaved with entity groups, further demonstrating the robustness of our findings in more natural settings. Overall, our study establishes a more complete picture of how LMs bind and retrieve entities in-context.