Ingeniería de Haystack: Ingeniería de Contexto para la Evaluación de Contextos Largos Heterogéneos y Agénticos

Resumen

Los modelos de lenguaje de gran contexto modernos (LLMs) tienen un buen desempeño en los benchmarks sintéticos de "aguja en un pajar" (NIAH, por sus siglas en inglés), pero estas pruebas pasan por alto cómo los contextos ruidosos surgen de la recuperación sesgada y los flujos de trabajo agentivos. Argumentamos que la ingeniería de pajares es necesaria para construir contextos largos y ruidosos que capturen fielmente factores clave del mundo real —distracciones provenientes de recuperadores heterogéneos sesgados y errores en cascada en flujos de trabajo agentivos— para evaluar la robustez de los modelos en contextos largos. Lo implementamos a través de HaystackCraft, un nuevo benchmark NIAH construido sobre la red completa de hipervínculos de Wikipedia en inglés con preguntas de múltiples saltos. HaystackCraft evalúa cómo las estrategias de recuperación heterogéneas (por ejemplo, dispersas, densas, híbridas y basadas en grafos) afectan la composición de distractores, el orden del pajar y el desempeño posterior de los LLMs. Además, HaystackCraft extiende NIAH a entornos dinámicos y dependientes de LLMs que simulan operaciones agentivas, donde los modelos refinan consultas, reflexionan sobre sus razonamientos previos y deciden cuándo detenerse. Los experimentos con 15 modelos de gran contexto muestran que (1) aunque los recuperadores densos más potentes pueden introducir distractores más desafiantes, el reordenamiento basado en grafos mejora simultáneamente la efectividad de la recuperación y mitiga los distractores más perjudiciales; (2) en pruebas agentivas, incluso modelos avanzados como Gemini 2.5 Pro y GPT-5 sufren fallos en cascada debido a distractores autogenerados o tienen dificultades para realizar paradas tempranas. Estos resultados resaltan los desafíos persistentes en el razonamiento agentivo de contextos largos y establecen a HaystackCraft como un banco de pruebas valioso para futuros avances.

English

Modern long-context large language models (LLMs) perform well on synthetic "needle-in-a-haystack" (NIAH) benchmarks, but such tests overlook how noisy contexts arise from biased retrieval and agentic workflows. We argue that haystack engineering is necessary to construct noisy long contexts that faithfully capture key real-world factors -- distraction from heterogeneous biased retrievers and cascading errors in agentic workflows -- to test models' long-context robustness. We instantiate it through HaystackCraft, a new NIAH benchmark built on the full English Wikipedia hyperlink network with multi-hop questions. HaystackCraft evaluates how heterogeneous retrieval strategies (e.g., sparse, dense, hybrid, and graph-based) affect distractor composition, haystack ordering, and downstream LLM performance. HaystackCraft further extends NIAH to dynamic, LLM-dependent settings that simulate agentic operations, where models refine queries, reflect on their past reasonings, and decide when to stop. Experiments with 15 long-context models show that (1) while stronger dense retrievers can introduce more challenging distractors, graph-based reranking simultaneously improves retrieval effectiveness and mitigates more harmful distractors; (2) in agentic tests, even advanced models like Gemini 2.5 Pro and GPT-5 suffer cascading failures from self-generated distractors or struggle to perform early stops. These results highlight persistent challenges in agentic long-context reasoning and establish HaystackCraft as a valuable testbed for future progress.

Ingeniería de Haystack: Ingeniería de Contexto para la Evaluación de Contextos Largos Heterogéneos y Agénticos

Haystack Engineering: Context Engineering for Heterogeneous and Agentic Long-Context Evaluation

Resumen

Support