Engenharia de Haystack: Engenharia de Contexto para Avaliação de Contexto Longo Heterogêneo e Agente

Haystack Engineering: Context Engineering for Heterogeneous and Agentic Long-Context Evaluation

October 8, 2025

Autores: Mufei Li, Dongqi Fu, Limei Wang, Si Zhang, Hanqing Zeng, Kaan Sancak, Ruizhong Qiu, Haoyu Wang, Xiaoxin He, Xavier Bresson, Yinglong Xia, Chonglin Sun, Pan Li

cs.AI

Resumo

Modelos modernos de linguagem de grande escala (LLMs) com contexto longo apresentam bom desempenho em benchmarks sintéticos do tipo "agulha no palheiro" (NIAH), mas tais testes ignoram como contextos ruidosos surgem de recuperações enviesadas e fluxos de trabalho agentivos. Argumentamos que a engenharia de palheiros é necessária para construir contextos longos ruidosos que capturem fielmente fatores-chave do mundo real — distração de recuperadores heterogêneos enviesados e erros em cascata em fluxos de trabalho agentivos — para testar a robustez de modelos em contextos longos. Instanciamos isso por meio do HaystackCraft, um novo benchmark NIAH construído sobre a rede completa de hiperlinks da Wikipédia em inglês com perguntas de múltiplos saltos. O HaystackCraft avalia como estratégias heterogêneas de recuperação (por exemplo, esparsa, densa, híbrida e baseada em grafos) afetam a composição de distratores, a ordenação do palheiro e o desempenho subsequente dos LLMs. O HaystackCraft ainda estende o NIAH para configurações dinâmicas dependentes de LLMs que simulam operações agentivas, onde os modelos refinam consultas, refletem sobre seus raciocínios passados e decidem quando parar. Experimentos com 15 modelos de contexto longo mostram que (1) embora recuperadores densos mais fortes possam introduzir distratores mais desafiadores, o reranking baseado em grafos melhora simultaneamente a eficácia da recuperação e mitiga distratores mais prejudiciais; (2) em testes agentivos, até modelos avançados como o Gemini 2.5 Pro e o GPT-5 sofrem falhas em cascata devido a distratores autogerados ou lutam para realizar paradas precoces. Esses resultados destacam desafios persistentes no raciocínio agentivo de contexto longo e estabelecem o HaystackCraft como um valioso campo de testes para progressos futuros.

English

Modern long-context large language models (LLMs) perform well on synthetic "needle-in-a-haystack" (NIAH) benchmarks, but such tests overlook how noisy contexts arise from biased retrieval and agentic workflows. We argue that haystack engineering is necessary to construct noisy long contexts that faithfully capture key real-world factors -- distraction from heterogeneous biased retrievers and cascading errors in agentic workflows -- to test models' long-context robustness. We instantiate it through HaystackCraft, a new NIAH benchmark built on the full English Wikipedia hyperlink network with multi-hop questions. HaystackCraft evaluates how heterogeneous retrieval strategies (e.g., sparse, dense, hybrid, and graph-based) affect distractor composition, haystack ordering, and downstream LLM performance. HaystackCraft further extends NIAH to dynamic, LLM-dependent settings that simulate agentic operations, where models refine queries, reflect on their past reasonings, and decide when to stop. Experiments with 15 long-context models show that (1) while stronger dense retrievers can introduce more challenging distractors, graph-based reranking simultaneously improves retrieval effectiveness and mitigates more harmful distractors; (2) in agentic tests, even advanced models like Gemini 2.5 Pro and GPT-5 suffer cascading failures from self-generated distractors or struggle to perform early stops. These results highlight persistent challenges in agentic long-context reasoning and establish HaystackCraft as a valuable testbed for future progress.