Инженерия контекста для обеспечения надежности: управление по модели Рескорла-Вагнера в условиях смешанных и неподходящих контекстов

Context Engineering for Trustworthiness: Rescorla Wagner Steering Under Mixed and Inappropriate Contexts

September 2, 2025

Авторы: Rushi Wang, Jiateng Liu, Cheng Qian, Yifan Shen, Yanzhou Pan, Zhaozhuo Xu, Ahmed Abbasi, Heng Ji, Denghui Zhang

cs.AI

Аннотация

Включение внешнего контекста может значительно повысить качество ответов крупных языковых моделей (LLM). Однако в реальных условиях контекст часто смешивает релевантную информацию с непропорционально большим количеством неуместного содержания, что создает риски для надежности. Как LLM обрабатывают и приоритизируют смешанный контекст? Для изучения этого мы представляем тестовую среду Poisoned Context, где запросы сочетаются с реальными контекстами, содержащими как релевантную, так и неуместную информацию. Вдохновленные ассоциативным обучением у животных, мы адаптировали модель Рескорлы-Вагнера (RW) из нейронаук для количественной оценки того, как конкурирующие контекстные сигналы влияют на выводы LLM. Наша адаптированная модель выявляет устойчивый поведенческий паттерн: LLM демонстрируют сильную склонность к включению информации, которая менее распространена в контексте. Эта уязвимость вредна в реальных условиях, где даже небольшое количество неуместного контента может существенно ухудшить качество ответов. Эмпирические оценки в нашей тестовой среде дополнительно подтверждают эту уязвимость. Для решения этой проблемы мы представляем RW-Steering — двухэтапный подход на основе тонкой настройки, который позволяет модели внутренне идентифицировать и игнорировать неуместные сигналы. В отличие от предыдущих методов, требующих обширного обучения на разнообразных смесях контекста, RW-Steering устойчиво обобщается при различных пропорциях неуместного содержания. Эксперименты показывают, что наша лучшая настроенная модель улучшает качество ответов на 39,8% и изменяет нежелательную поведенческую кривую, что делает RW-Steering надежным и универсальным решением для инженерии контекста, повышающим безопасность LLM в реальных условиях.

English

Incorporating external context can significantly enhance the response quality of Large Language Models (LLMs). However, real-world contexts often mix relevant information with disproportionate inappropriate content, posing reliability risks. How do LLMs process and prioritize mixed context? To study this, we introduce the Poisoned Context Testbed, pairing queries with real-world contexts containing relevant and inappropriate content. Inspired by associative learning in animals, we adapt the Rescorla-Wagner (RW) model from neuroscience to quantify how competing contextual signals influence LLM outputs. Our adapted model reveals a consistent behavioral pattern: LLMs exhibit a strong tendency to incorporate information that is less prevalent in the context. This susceptibility is harmful in real-world settings, where small amounts of inappropriate content can substantially degrade response quality. Empirical evaluations on our testbed further confirm this vulnerability. To tackle this, we introduce RW-Steering, a two-stage finetuning-based approach that enables the model to internally identify and ignore inappropriate signals. Unlike prior methods that rely on extensive supervision across diverse context mixtures, RW-Steering generalizes robustly across varying proportions of inappropriate content. Experiments show that our best fine-tuned model improves response quality by 39.8% and reverses the undesirable behavior curve, establishing RW-Steering as a robust, generalizable context engineering solution for improving LLM safety in real-world use.