Haystack Engineering: Ingegneria del Contesto per la Valutazione Eterogenea e Agente di Contesti Lunghi

Haystack Engineering: Context Engineering for Heterogeneous and Agentic Long-Context Evaluation

October 8, 2025

Autori: Mufei Li, Dongqi Fu, Limei Wang, Si Zhang, Hanqing Zeng, Kaan Sancak, Ruizhong Qiu, Haoyu Wang, Xiaoxin He, Xavier Bresson, Yinglong Xia, Chonglin Sun, Pan Li

cs.AI

Abstract

I moderni modelli linguistici su larga scala (LLM) con contesto lungo performano bene su benchmark sintetici del tipo "ago in un pagliaio" (NIAH), ma tali test trascurano come i contesti rumorosi derivino da recuperi distorti e flussi di lavoro agentici. Sosteniamo che l'ingegnerizzazione del pagliaio sia necessaria per costruire contesti lunghi e rumorosi che catturino fedelmente fattori chiave del mondo reale — distrazione da recuperatori eterogenei e distorti ed errori a cascata nei flussi di lavoro agentici — per testare la robustezza dei modelli su contesti lunghi. Lo concretizziamo attraverso HaystackCraft, un nuovo benchmark NIAH basato sull'intera rete di collegamenti ipertestuali di Wikipedia in inglese con domande multi-hop. HaystackCraft valuta come le strategie di recupero eterogenee (ad esempio, sparse, dense, ibride e basate su grafi) influenzino la composizione dei distrattori, l'ordinamento del pagliaio e le prestazioni degli LLM a valle. HaystackCraft estende ulteriormente NIAH a contesti dinamici e dipendenti dagli LLM che simulano operazioni agentiche, in cui i modelli affinano le query, riflettono sui loro ragionamenti passati e decidono quando fermarsi. Esperimenti con 15 modelli a contesto lungo mostrano che (1) sebbene recuperatori densi più potenti possano introdurre distrattori più impegnativi, il riordinamento basato su grafi migliora contemporaneamente l'efficacia del recupero e mitiga i distrattori più dannosi; (2) nei test agentici, anche modelli avanzati come Gemini 2.5 Pro e GPT-5 subiscono fallimenti a cascata a causa di distrattori auto-generati o faticano a fermarsi precocemente. Questi risultati evidenziano sfide persistenti nel ragionamento agentico su contesti lunghi e stabiliscono HaystackCraft come un banco di prova prezioso per i progressi futuri.

English

Modern long-context large language models (LLMs) perform well on synthetic "needle-in-a-haystack" (NIAH) benchmarks, but such tests overlook how noisy contexts arise from biased retrieval and agentic workflows. We argue that haystack engineering is necessary to construct noisy long contexts that faithfully capture key real-world factors -- distraction from heterogeneous biased retrievers and cascading errors in agentic workflows -- to test models' long-context robustness. We instantiate it through HaystackCraft, a new NIAH benchmark built on the full English Wikipedia hyperlink network with multi-hop questions. HaystackCraft evaluates how heterogeneous retrieval strategies (e.g., sparse, dense, hybrid, and graph-based) affect distractor composition, haystack ordering, and downstream LLM performance. HaystackCraft further extends NIAH to dynamic, LLM-dependent settings that simulate agentic operations, where models refine queries, reflect on their past reasonings, and decide when to stop. Experiments with 15 long-context models show that (1) while stronger dense retrievers can introduce more challenging distractors, graph-based reranking simultaneously improves retrieval effectiveness and mitigates more harmful distractors; (2) in agentic tests, even advanced models like Gemini 2.5 Pro and GPT-5 suffer cascading failures from self-generated distractors or struggle to perform early stops. These results highlight persistent challenges in agentic long-context reasoning and establish HaystackCraft as a valuable testbed for future progress.