Mischmechanismen: Wie Sprachmodelle gebundene Entitäten im Kontext abrufen

Mixing Mechanisms: How Language Models Retrieve Bound Entities In-Context

October 7, 2025

papers.authors: Yoav Gur-Arieh, Mor Geva, Atticus Geiger

cs.AI

papers.abstract

Ein Schlüsselelement des In-Context-Reasonings ist die Fähigkeit von Sprachmodellen (LMs), Entitäten für die spätere Abfrage zu verknüpfen. Beispielsweise könnte ein LM „Ann liebt Kuchen“ repräsentieren, indem es „Ann“ mit „Kuchen“ verknüpft, sodass es später „Ann“ abrufen kann, wenn gefragt wird: „Wer liebt Kuchen?“ Frühere Forschungen zu kurzen Listen verknüpfter Entitäten fanden starke Hinweise darauf, dass LMs eine solche Abfrage über einen Positionsmechanismus implementieren, bei dem „Ann“ basierend auf ihrer Position im Kontext abgerufen wird. In dieser Arbeit stellen wir fest, dass sich dieser Mechanismus schlecht auf komplexere Szenarien verallgemeinern lässt; mit zunehmender Anzahl verknüpfter Entitäten im Kontext wird der Positionsmechanismus in mittleren Positionen ungenau und unzuverlässig. Um dies auszugleichen, ergänzen LMs den Positionsmechanismus durch einen lexikalischen Mechanismus (Abrufen von „Ann“ mithilfe ihres verknüpften Gegenstücks „Kuchen“) und einen reflexiven Mechanismus (Abrufen von „Ann“ über einen direkten Zeiger). Durch umfangreiche Experimente an neun Modellen und zehn Verknüpfungsaufgaben decken wir ein konsistentes Muster auf, wie LMs diese Mechanismen kombinieren, um das Modellverhalten zu steuern. Wir nutzen diese Erkenntnisse, um ein kausales Modell zu entwickeln, das alle drei Mechanismen kombiniert und die Verteilung der nächsten Token mit 95 % Übereinstimmung schätzt. Schließlich zeigen wir, dass unser Modell auf deutlich längere Eingaben von offenem Text, der mit Entitätsgruppen durchsetzt ist, verallgemeinert, was die Robustheit unserer Ergebnisse in natürlicheren Settings weiter unterstreicht. Insgesamt liefert unsere Studie ein umfassenderes Bild davon, wie LMs Entitäten im Kontext verknüpfen und abrufen.

English

A key component of in-context reasoning is the ability of language models (LMs) to bind entities for later retrieval. For example, an LM might represent "Ann loves pie" by binding "Ann" to "pie", allowing it to later retrieve "Ann" when asked "Who loves pie?" Prior research on short lists of bound entities found strong evidence that LMs implement such retrieval via a positional mechanism, where "Ann" is retrieved based on its position in context. In this work, we find that this mechanism generalizes poorly to more complex settings; as the number of bound entities in context increases, the positional mechanism becomes noisy and unreliable in middle positions. To compensate for this, we find that LMs supplement the positional mechanism with a lexical mechanism (retrieving "Ann" using its bound counterpart "pie") and a reflexive mechanism (retrieving "Ann" through a direct pointer). Through extensive experiments on nine models and ten binding tasks, we uncover a consistent pattern in how LMs mix these mechanisms to drive model behavior. We leverage these insights to develop a causal model combining all three mechanisms that estimates next token distributions with 95% agreement. Finally, we show that our model generalizes to substantially longer inputs of open-ended text interleaved with entity groups, further demonstrating the robustness of our findings in more natural settings. Overall, our study establishes a more complete picture of how LMs bind and retrieve entities in-context.