Инженерия Haystack: Контекстная инженерия для гетерогенной и агентной оценки длинных контекстов

Аннотация

Современные крупные языковые модели (LLM) с длинным контекстом демонстрируют хорошие результаты на синтетических тестах типа "иголка в стоге сена" (NIAH), однако такие тесты упускают из виду, как шумные контексты возникают из-за предвзятости поиска и агентных рабочих процессов. Мы утверждаем, что инженерия стога сена необходима для создания шумных длинных контекстов, которые достоверно отражают ключевые факторы реального мира — отвлечение из-за разнородных предвзятых поисковых систем и каскадные ошибки в агентных рабочих процессах — для проверки устойчивости моделей к длинному контексту. Мы реализуем это через HaystackCraft, новый NIAH-бенчмарк, построенный на полной сети гиперссылок английской Википедии с вопросами, требующими многошагового рассуждения. HaystackCraft оценивает, как разнородные стратегии поиска (например, разреженные, плотные, гибридные и основанные на графах) влияют на состав отвлекающих элементов, порядок стога сена и производительность LLM. HaystackCraft также расширяет NIAH до динамических, зависящих от LLM сценариев, которые имитируют агентные операции, где модели уточняют запросы, анализируют свои прошлые рассуждения и решают, когда остановиться. Эксперименты с 15 моделями с длинным контекстом показывают, что (1) хотя более мощные плотные поисковые системы могут вводить более сложные отвлекающие элементы, ранжирование на основе графов одновременно улучшает эффективность поиска и снижает влияние более вредоносных отвлекающих элементов; (2) в агентных тестах даже продвинутые модели, такие как Gemini 2.5 Pro и GPT-5, страдают от каскадных сбоев из-за самостоятельно созданных отвлекающих элементов или испытывают трудности с ранней остановкой. Эти результаты подчеркивают сохраняющиеся проблемы в агентном рассуждении с длинным контекстом и устанавливают HaystackCraft как ценный полигон для будущих достижений.

English

Modern long-context large language models (LLMs) perform well on synthetic "needle-in-a-haystack" (NIAH) benchmarks, but such tests overlook how noisy contexts arise from biased retrieval and agentic workflows. We argue that haystack engineering is necessary to construct noisy long contexts that faithfully capture key real-world factors -- distraction from heterogeneous biased retrievers and cascading errors in agentic workflows -- to test models' long-context robustness. We instantiate it through HaystackCraft, a new NIAH benchmark built on the full English Wikipedia hyperlink network with multi-hop questions. HaystackCraft evaluates how heterogeneous retrieval strategies (e.g., sparse, dense, hybrid, and graph-based) affect distractor composition, haystack ordering, and downstream LLM performance. HaystackCraft further extends NIAH to dynamic, LLM-dependent settings that simulate agentic operations, where models refine queries, reflect on their past reasonings, and decide when to stop. Experiments with 15 long-context models show that (1) while stronger dense retrievers can introduce more challenging distractors, graph-based reranking simultaneously improves retrieval effectiveness and mitigates more harmful distractors; (2) in agentic tests, even advanced models like Gemini 2.5 Pro and GPT-5 suffer cascading failures from self-generated distractors or struggle to perform early stops. These results highlight persistent challenges in agentic long-context reasoning and establish HaystackCraft as a valuable testbed for future progress.

Инженерия Haystack: Контекстная инженерия для гетерогенной и агентной оценки длинных контекстов

Haystack Engineering: Context Engineering for Heterogeneous and Agentic Long-Context Evaluation

Аннотация

Support