Verloren im Rauschen: Wie Reasoning-Modelle bei kontextuellen Störfaktoren versagen

Lost in the Noise: How Reasoning Models Fail with Contextual Distractors

January 12, 2026

papers.authors: Seongyun Lee, Yongrae Jo, Minju Seo, Moontae Lee, Minjoon Seo

cs.AI

papers.abstract

Jüngste Fortschritte bei Reasoning-Modellen und agentenbasierten KI-Systemen haben zu einer verstärkten Nutzung diverser externer Informationen geführt. Dieser Wandel führt jedoch zu Eingabekontexten, die inhärent verrauscht sind – eine Realität, die aktuelle bereinigte Benchmarks nicht erfassen. Wir stellen NoisyBench vor, einen umfassenden Benchmark, der die Robustheit von Modellen systematisch über 11 Datensätze in RAG-, Reasoning-, Alignment- und Tool-Use-Aufgaben gegenüber verschiedenen Rauschtypen evaluiert, darunter zufällige Dokumente, irrelevante Chatverläufe und schwierige negative Ablenkungen. Unsere Auswertung zeigt einen katastrophalen Leistungseinbruch von bis zu 80 % bei state-of-the-art Modellen im Umgang mit kontextuellen Ablenkungen. Entscheidend ist, dass wir feststellen, dass agentenbasierte Workflows diese Fehler oft verstärken, indem sie verrauschten Tool-Ausgaben zu stark vertrauen, und dass Ablenkungen emergentes Fehlverhalten auslösen können, selbst ohne adversäre Absicht. Wir zeigen, dass Prompting, Context Engineering, SFT und ergebnisbasierte RL-Verfahren keine Robustheit gewährleisten; im Gegensatz dazu stärkt unser vorgeschlagener Rationale-Aware Reward (RARE) die Resilienz signifikant, indem er die Identifikation hilfreicher Informationen innerhalb des Rauschens belohnt. Schließlich decken wir einen inversen Skalierungstrend auf, bei dem erhöhte Rechenleistung zur Testzeit zu schlechterer Leistung in verrauschten Umgebungen führt, und demonstrieren mittels Attention-Visualisierung, dass Modelle sich überproportional auf Stör-Tokens konzentrieren – wesentliche Erkenntnisse für die Entwicklung der nächsten Generation robuster, reasoning-fähiger Agenten.

English

Recent advances in reasoning models and agentic AI systems have led to an increased reliance on diverse external information. However, this shift introduces input contexts that are inherently noisy, a reality that current sanitized benchmarks fail to capture. We introduce NoisyBench, a comprehensive benchmark that systematically evaluates model robustness across 11 datasets in RAG, reasoning, alignment, and tool-use tasks against diverse noise types, including random documents, irrelevant chat histories, and hard negative distractors. Our evaluation reveals a catastrophic performance drop of up to 80% in state-of-the-art models when faced with contextual distractors. Crucially, we find that agentic workflows often amplify these errors by over-trusting noisy tool outputs, and distractors can trigger emergent misalignment even without adversarial intent. We find that prompting, context engineering, SFT, and outcome-reward only RL fail to ensure robustness; in contrast, our proposed Rationale-Aware Reward (RARE) significantly strengthens resilience by incentivizing the identification of helpful information within noise. Finally, we uncover an inverse scaling trend where increased test-time computation leads to worse performance in noisy settings and demonstrate via attention visualization that models disproportionately focus on distractor tokens, providing vital insights for building the next generation of robust, reasoning-capable agents.