Perdus dans le bruit : Comment les modèles de raisonnement échouent face aux distracteurs contextuels
Lost in the Noise: How Reasoning Models Fail with Contextual Distractors
January 12, 2026
papers.authors: Seongyun Lee, Yongrae Jo, Minju Seo, Moontae Lee, Minjoon Seo
cs.AI
papers.abstract
Les récents progrès des modèles de raisonnement et des systèmes d'IA agentiques ont conduit à une dépendance accrue envers des informations externes diverses. Cependant, cette évolution introduit des contextes d'entrée intrinsèquement bruités, une réalité que les bancs d'essai aseptisés actuels ne capturent pas. Nous présentons NoisyBench, un banc d'essai complet qui évalue systématiquement la robustesse des modèles sur 11 jeux de données pour des tâches de RAG, de raisonnement, d'alignement et d'utilisation d'outils, face à divers types de bruit, incluant des documents aléatoires, des historiques de discussion non pertinents et des distracteurs négatifs difficiles. Notre évaluation révèle une chute catastrophique des performances allant jusqu'à 80% chez les modèles de pointe confrontés à des distracteurs contextuels. Fait crucial, nous constatons que les workflows agentiques amplifient souvent ces erreurs en faisant excessivement confiance aux sorties bruitées des outils, et que les distracteurs peuvent provoquer un désalignement émergent même sans intention antagoniste. Nous montrons que l'incitation par prompt, l'ingénierie du contexte, le SFT et le RL basé uniquement sur la récompense des résultats échouent à assurer la robustesse ; en revanche, notre Récompense Sensible au Raisonnement (RARE) renforce significativement la résilience en incitant à l'identification d'informations utiles au sein du bruit. Enfin, nous mettons en évidence une tendance à l'échelle inverse où une augmentation du calcul au moment du test dégrade les performances dans des contextes bruités, et nous démontrons par visualisation de l'attention que les modèles se concentrent de manière disproportionnée sur les tokens distracteurs, fournissant ainsi des insights vitaux pour construire la prochaine génération d'agents robustes et capables de raisonner.
English
Recent advances in reasoning models and agentic AI systems have led to an increased reliance on diverse external information. However, this shift introduces input contexts that are inherently noisy, a reality that current sanitized benchmarks fail to capture. We introduce NoisyBench, a comprehensive benchmark that systematically evaluates model robustness across 11 datasets in RAG, reasoning, alignment, and tool-use tasks against diverse noise types, including random documents, irrelevant chat histories, and hard negative distractors. Our evaluation reveals a catastrophic performance drop of up to 80% in state-of-the-art models when faced with contextual distractors. Crucially, we find that agentic workflows often amplify these errors by over-trusting noisy tool outputs, and distractors can trigger emergent misalignment even without adversarial intent. We find that prompting, context engineering, SFT, and outcome-reward only RL fail to ensure robustness; in contrast, our proposed Rationale-Aware Reward (RARE) significantly strengthens resilience by incentivizing the identification of helpful information within noise. Finally, we uncover an inverse scaling trend where increased test-time computation leads to worse performance in noisy settings and demonstrate via attention visualization that models disproportionately focus on distractor tokens, providing vital insights for building the next generation of robust, reasoning-capable agents.