Haystack Engineering: Kontextengineering für heterogene und agentenbasierte Langzeitkontext-Evaluierung

papers.abstract

Moderne Large Language Models (LLMs) mit langem Kontext zeigen gute Leistungen bei synthetischen „Nadel-im-Heuhaufen“-Benchmarks (NIAH), doch solche Tests übersehen, wie verrauschte Kontexte durch verzerrte Retrieval-Prozesse und agentenbasierte Workflows entstehen. Wir argumentieren, dass eine gezielte Gestaltung des „Heuhaufens“ notwendig ist, um verrauschte lange Kontexte zu konstruieren, die wichtige reale Faktoren treu abbilden – Ablenkung durch heterogene, verzerrte Retrieval-Systeme und kaskadierende Fehler in agentenbasierten Workflows –, um die Robustheit von Modellen bei langen Kontexten zu testen. Dies wird durch HaystackCraft umgesetzt, einen neuen NIAH-Benchmark, der auf dem vollständigen englischen Wikipedia-Hyperlink-Netzwerk mit Multi-Hop-Fragen basiert. HaystackCraft evaluiert, wie heterogene Retrieval-Strategien (z. B. sparse, dense, hybrid und graphenbasiert) die Zusammensetzung von Ablenkern, die Anordnung des Heuhaufens und die nachgelagerte Leistung von LLMs beeinflussen. HaystackCraft erweitert NIAH zudem auf dynamische, LLM-abhängige Szenarien, die agentenbasierte Operationen simulieren, bei denen Modelle Anfragen verfeinern, ihre bisherigen Schlussfolgerungen reflektieren und entscheiden, wann sie aufhören sollen. Experimente mit 15 Modellen mit langem Kontext zeigen, dass (1) zwar stärkere dense Retrieval-Systeme herausforderndere Ablenker einführen können, graphenbasierte Neubewertung jedoch gleichzeitig die Retrieval-Effektivität verbessert und schädlichere Ablenker reduziert; (2) in agentenbasierten Tests leiden sogar fortschrittliche Modelle wie Gemini 2.5 Pro und GPT-5 unter kaskadierenden Fehlern durch selbstgenerierte Ablenker oder haben Schwierigkeiten, frühzeitig zu stoppen. Diese Ergebnisse verdeutlichen anhaltende Herausforderungen beim agentenbasierten Langzeitkontext-Schlussfolgern und etablieren HaystackCraft als wertvolles Testfeld für zukünftige Fortschritte.

English

Modern long-context large language models (LLMs) perform well on synthetic "needle-in-a-haystack" (NIAH) benchmarks, but such tests overlook how noisy contexts arise from biased retrieval and agentic workflows. We argue that haystack engineering is necessary to construct noisy long contexts that faithfully capture key real-world factors -- distraction from heterogeneous biased retrievers and cascading errors in agentic workflows -- to test models' long-context robustness. We instantiate it through HaystackCraft, a new NIAH benchmark built on the full English Wikipedia hyperlink network with multi-hop questions. HaystackCraft evaluates how heterogeneous retrieval strategies (e.g., sparse, dense, hybrid, and graph-based) affect distractor composition, haystack ordering, and downstream LLM performance. HaystackCraft further extends NIAH to dynamic, LLM-dependent settings that simulate agentic operations, where models refine queries, reflect on their past reasonings, and decide when to stop. Experiments with 15 long-context models show that (1) while stronger dense retrievers can introduce more challenging distractors, graph-based reranking simultaneously improves retrieval effectiveness and mitigates more harmful distractors; (2) in agentic tests, even advanced models like Gemini 2.5 Pro and GPT-5 suffer cascading failures from self-generated distractors or struggle to perform early stops. These results highlight persistent challenges in agentic long-context reasoning and establish HaystackCraft as a valuable testbed for future progress.

Haystack Engineering: Kontextengineering für heterogene und agentenbasierte Langzeitkontext-Evaluierung

Haystack Engineering: Context Engineering for Heterogeneous and Agentic Long-Context Evaluation

papers.abstract

Support