Context Engineering voor Betrouwbaarheid: Rescorla-Wagner Sturing onder Gemengde en Ongepaste Contexten

Context Engineering for Trustworthiness: Rescorla Wagner Steering Under Mixed and Inappropriate Contexts

September 2, 2025

Auteurs: Rushi Wang, Jiateng Liu, Cheng Qian, Yifan Shen, Yanzhou Pan, Zhaozhuo Xu, Ahmed Abbasi, Heng Ji, Denghui Zhang

cs.AI

Samenvatting

Het opnemen van externe context kan de responskwaliteit van Large Language Models (LLMs) aanzienlijk verbeteren. Echter bevatten real-world contexten vaak een mix van relevante informatie en onevenredig veel ongepaste inhoud, wat betrouwbaarheidsrisico's met zich meebrengt. Hoe verwerken en prioriteren LLMs gemengde context? Om dit te bestuderen, introduceren we de Poisoned Context Testbed, waarbij queries worden gekoppeld aan real-world contexten die zowel relevante als ongepaste inhoud bevatten. Geïnspireerd door associatief leren bij dieren, passen we het Rescorla-Wagner (RW) model uit de neurowetenschappen aan om te kwantificeren hoe concurrerende contextuele signalen de uitvoer van LLMs beïnvloeden. Ons aangepaste model onthult een consistent gedragspatroon: LLMs vertonen een sterke neiging om informatie op te nemen die minder aanwezig is in de context. Deze gevoeligheid is schadelijk in real-world situaties, waar kleine hoeveelheden ongepaste inhoud de responskwaliteit aanzienlijk kunnen verslechteren. Empirische evaluaties op onze testbank bevestigen deze kwetsbaarheid verder. Om dit aan te pakken, introduceren we RW-Steering, een tweefasen fine-tuning benadering die het model in staat stelt om intern ongepaste signalen te identificeren en te negeren. In tegenstelling tot eerdere methoden die afhankelijk zijn van uitgebreide supervisie over diverse contextmengsels, generaliseert RW-Steering robuust over verschillende verhoudingen van ongepaste inhoud. Experimenten tonen aan dat ons best fine-tuned model de responskwaliteit met 39,8% verbetert en de ongewenste gedragscurve omkeert, waardoor RW-Steering wordt gevestigd als een robuuste, generaliseerbare context engineering oplossing voor het verbeteren van de veiligheid van LLMs in real-world gebruik.

English

Incorporating external context can significantly enhance the response quality of Large Language Models (LLMs). However, real-world contexts often mix relevant information with disproportionate inappropriate content, posing reliability risks. How do LLMs process and prioritize mixed context? To study this, we introduce the Poisoned Context Testbed, pairing queries with real-world contexts containing relevant and inappropriate content. Inspired by associative learning in animals, we adapt the Rescorla-Wagner (RW) model from neuroscience to quantify how competing contextual signals influence LLM outputs. Our adapted model reveals a consistent behavioral pattern: LLMs exhibit a strong tendency to incorporate information that is less prevalent in the context. This susceptibility is harmful in real-world settings, where small amounts of inappropriate content can substantially degrade response quality. Empirical evaluations on our testbed further confirm this vulnerability. To tackle this, we introduce RW-Steering, a two-stage finetuning-based approach that enables the model to internally identify and ignore inappropriate signals. Unlike prior methods that rely on extensive supervision across diverse context mixtures, RW-Steering generalizes robustly across varying proportions of inappropriate content. Experiments show that our best fine-tuned model improves response quality by 39.8% and reverses the undesirable behavior curve, establishing RW-Steering as a robust, generalizable context engineering solution for improving LLM safety in real-world use.