Haystack Engineering: Context Engineering voor Heterogene en Agent-gebaseerde Evaluatie van Lange Contexten

Haystack Engineering: Context Engineering for Heterogeneous and Agentic Long-Context Evaluation

October 8, 2025

Auteurs: Mufei Li, Dongqi Fu, Limei Wang, Si Zhang, Hanqing Zeng, Kaan Sancak, Ruizhong Qiu, Haoyu Wang, Xiaoxin He, Xavier Bresson, Yinglong Xia, Chonglin Sun, Pan Li

cs.AI

Samenvatting

Moderne lange-context grote taalmodellen (LLMs) presteren goed op synthetische "naald-in-een-hooiberg" (NIAH) benchmarks, maar dergelijke tests negeren hoe rumoerige contexten ontstaan door bevooroordeelde retrievals en agent-gebaseerde workflows. Wij beargumenteren dat hooiberg-engineering noodzakelijk is om rumoerige lange contexten te construeren die belangrijke real-world factoren nauwkeurig weergeven — afleiding door heterogene bevooroordeelde retrievers en cascaderende fouten in agent-gebaseerde workflows — om de lange-context robuustheid van modellen te testen. We concretiseren dit via HaystackCraft, een nieuwe NIAH benchmark gebouwd op het volledige Engelse Wikipedia hyperlink-netwerk met multi-hop vragen. HaystackCraft evalueert hoe heterogene retrievalstrategieën (bijv. sparse, dense, hybrid en graph-based) de samenstelling van afleiders, de volgorde van de hooiberg en de downstream LLM-prestaties beïnvloeden. HaystackCraft breidt NIAH verder uit naar dynamische, LLM-afhankelijke instellingen die agent-gebaseerde operaties simuleren, waarbij modellen queries verfijnen, reflecteren op hun eerdere redeneringen en beslissen wanneer ze moeten stoppen. Experimenten met 15 lange-context modellen tonen aan dat (1) hoewel sterkere dense retrievers meer uitdagende afleiders kunnen introduceren, graph-based reranking tegelijkertijd de retrieval-effectiviteit verbetert en schadelijker afleiders vermindert; (2) in agent-gebaseerde tests lijden zelfs geavanceerde modellen zoals Gemini 2.5 Pro en GPT-5 aan cascaderende fouten door zelf gegenereerde afleiders of hebben ze moeite om vroegtijdig te stoppen. Deze resultaten benadrukken aanhoudende uitdagingen in agent-gebaseerde lange-context redenering en vestigen HaystackCraft als een waardevolle testomgeving voor toekomstige vooruitgang.

English

Modern long-context large language models (LLMs) perform well on synthetic "needle-in-a-haystack" (NIAH) benchmarks, but such tests overlook how noisy contexts arise from biased retrieval and agentic workflows. We argue that haystack engineering is necessary to construct noisy long contexts that faithfully capture key real-world factors -- distraction from heterogeneous biased retrievers and cascading errors in agentic workflows -- to test models' long-context robustness. We instantiate it through HaystackCraft, a new NIAH benchmark built on the full English Wikipedia hyperlink network with multi-hop questions. HaystackCraft evaluates how heterogeneous retrieval strategies (e.g., sparse, dense, hybrid, and graph-based) affect distractor composition, haystack ordering, and downstream LLM performance. HaystackCraft further extends NIAH to dynamic, LLM-dependent settings that simulate agentic operations, where models refine queries, reflect on their past reasonings, and decide when to stop. Experiments with 15 long-context models show that (1) while stronger dense retrievers can introduce more challenging distractors, graph-based reranking simultaneously improves retrieval effectiveness and mitigates more harmful distractors; (2) in agentic tests, even advanced models like Gemini 2.5 Pro and GPT-5 suffer cascading failures from self-generated distractors or struggle to perform early stops. These results highlight persistent challenges in agentic long-context reasoning and establish HaystackCraft as a valuable testbed for future progress.