Ingénierie contextuelle pour la fiabilité : Pilotage Rescorla-Wagner dans des contextes mixtes et inappropriés

Context Engineering for Trustworthiness: Rescorla Wagner Steering Under Mixed and Inappropriate Contexts

September 2, 2025

papers.authors: Rushi Wang, Jiateng Liu, Cheng Qian, Yifan Shen, Yanzhou Pan, Zhaozhuo Xu, Ahmed Abbasi, Heng Ji, Denghui Zhang

cs.AI

papers.abstract

L'intégration de contexte externe peut considérablement améliorer la qualité des réponses des modèles de langage à grande échelle (LLMs). Cependant, les contextes réels mélangent souvent des informations pertinentes avec un contenu inapproprié disproportionné, posant des risques de fiabilité. Comment les LLMs traitent-ils et hiérarchisent-ils un contexte mixte ? Pour étudier cela, nous introduisons le banc d'essai Poisoned Context, associant des requêtes à des contextes réels contenant à la fois des informations pertinentes et du contenu inapproprié. Inspirés par l'apprentissage associatif chez les animaux, nous adaptons le modèle Rescorla-Wagner (RW) issu des neurosciences pour quantifier comment les signaux contextuels concurrents influencent les sorties des LLMs. Notre modèle adapté révèle un schéma comportemental cohérent : les LLMs montrent une forte tendance à intégrer les informations moins prévalentes dans le contexte. Cette susceptibilité est néfaste dans des environnements réels, où de petites quantités de contenu inapproprié peuvent considérablement dégrader la qualité des réponses. Les évaluations empiriques sur notre banc d'essai confirment davantage cette vulnérabilité. Pour y remédier, nous introduisons RW-Steering, une approche en deux étapes basée sur le fine-tuning, permettant au modèle d'identifier et d'ignorer en interne les signaux inappropriés. Contrairement aux méthodes antérieures qui reposent sur une supervision extensive à travers divers mélanges de contextes, RW-Steering généralise de manière robuste face à des proportions variables de contenu inapproprié. Les expériences montrent que notre meilleur modèle fine-tuné améliore la qualité des réponses de 39,8 % et inverse la courbe de comportement indésirable, établissant RW-Steering comme une solution robuste et généralisable d'ingénierie contextuelle pour améliorer la sécurité des LLMs dans des utilisations réelles.

English

Incorporating external context can significantly enhance the response quality of Large Language Models (LLMs). However, real-world contexts often mix relevant information with disproportionate inappropriate content, posing reliability risks. How do LLMs process and prioritize mixed context? To study this, we introduce the Poisoned Context Testbed, pairing queries with real-world contexts containing relevant and inappropriate content. Inspired by associative learning in animals, we adapt the Rescorla-Wagner (RW) model from neuroscience to quantify how competing contextual signals influence LLM outputs. Our adapted model reveals a consistent behavioral pattern: LLMs exhibit a strong tendency to incorporate information that is less prevalent in the context. This susceptibility is harmful in real-world settings, where small amounts of inappropriate content can substantially degrade response quality. Empirical evaluations on our testbed further confirm this vulnerability. To tackle this, we introduce RW-Steering, a two-stage finetuning-based approach that enables the model to internally identify and ignore inappropriate signals. Unlike prior methods that rely on extensive supervision across diverse context mixtures, RW-Steering generalizes robustly across varying proportions of inappropriate content. Experiments show that our best fine-tuned model improves response quality by 39.8% and reverses the undesirable behavior curve, establishing RW-Steering as a robust, generalizable context engineering solution for improving LLM safety in real-world use.