Механизмы смешивания: как языковые модели извлекают связанные сущности В контексте

Mixing Mechanisms: How Language Models Retrieve Bound Entities In-Context

October 7, 2025

Авторы: Yoav Gur-Arieh, Mor Geva, Atticus Geiger

cs.AI

Аннотация

Ключевым компонентом контекстного рассуждения является способность языковых моделей (ЯМ) связывать сущности для последующего извлечения. Например, ЯМ может представить утверждение "Анна любит пирог", связав "Анну" с "пирогом", что позволяет ей впоследствии извлечь "Анну" в ответ на вопрос "Кто любит пирог?". Предыдущие исследования, посвящённые коротким спискам связанных сущностей, обнаружили убедительные доказательства того, что ЯМ реализуют такое извлечение с помощью позиционного механизма, где "Анна" извлекается на основе её позиции в контексте. В данной работе мы обнаруживаем, что этот механизм плохо обобщается на более сложные сценарии: по мере увеличения числа связанных сущностей в контексте позиционный механизм становится шумным и ненадёжным для средних позиций. Чтобы компенсировать это, мы выясняем, что ЯМ дополняют позиционный механизм лексическим механизмом (извлечение "Анны" с использованием связанной с ней сущности "пирог") и рефлексивным механизмом (извлечение "Анны" через прямой указатель). В ходе обширных экспериментов на девяти моделях и десяти задачах связывания мы выявляем устойчивую закономерность в том, как ЯМ комбинируют эти механизмы для управления поведением модели. Используя эти инсайты, мы разрабатываем причинную модель, объединяющую все три механизма, которая оценивает распределения следующих токенов с 95% согласованностью. Наконец, мы показываем, что наша модель обобщается на значительно более длинные входные данные, состоящие из открытого текста, перемежающегося группами сущностей, что дополнительно демонстрирует устойчивость наших выводов в более естественных условиях. В целом, наше исследование формирует более полное представление о том, как ЯМ связывают и извлекают сущности в контексте.

English

A key component of in-context reasoning is the ability of language models (LMs) to bind entities for later retrieval. For example, an LM might represent "Ann loves pie" by binding "Ann" to "pie", allowing it to later retrieve "Ann" when asked "Who loves pie?" Prior research on short lists of bound entities found strong evidence that LMs implement such retrieval via a positional mechanism, where "Ann" is retrieved based on its position in context. In this work, we find that this mechanism generalizes poorly to more complex settings; as the number of bound entities in context increases, the positional mechanism becomes noisy and unreliable in middle positions. To compensate for this, we find that LMs supplement the positional mechanism with a lexical mechanism (retrieving "Ann" using its bound counterpart "pie") and a reflexive mechanism (retrieving "Ann" through a direct pointer). Through extensive experiments on nine models and ten binding tasks, we uncover a consistent pattern in how LMs mix these mechanisms to drive model behavior. We leverage these insights to develop a causal model combining all three mechanisms that estimates next token distributions with 95% agreement. Finally, we show that our model generalizes to substantially longer inputs of open-ended text interleaved with entity groups, further demonstrating the robustness of our findings in more natural settings. Overall, our study establishes a more complete picture of how LMs bind and retrieve entities in-context.