Jenseits semantischer Ähnlichkeit: Neubewertung der Retrieval-Methodik für agentenbasierte Suche durch direkte Korpusinteraktion
Beyond Semantic Similarity: Rethinking Retrieval for Agentic Search via Direct Corpus Interaction
May 3, 2026
Autoren: Zhuofeng Li, Haoxiang Zhang, Cong Wei, Pan Lu, Ping Nie, Yi Lu, Yuyang Bai, Shangbin Feng, Hangxiao Zhu, Ming Zhong, Yuyu Zhang, Jianwen Xie, Yejin Choi, James Zou, Jiawei Han, Wenhu Chen, Jimmy Lin, Dongfu Jiang, Yu Zhang
cs.AI
Zusammenfassung
Moderne Retrieval-Systeme, ob lexikalisch oder semantisch, erschließen einen Korpus über eine feste Ähnlichkeitsschnittstelle, die den Zugriff auf einen einzelnen Top-k-Retrieval-Schritt vor der Reasoning-Phase komprimiert. Diese Abstraktion ist effizient, stellt jedoch für agentenbasierte Suche einen Engpass dar: Exakte lexikalische Einschränkungen, spärliche Hinweiskonjunktionen, lokale Kontextprüfungen und mehrstufige Hypothesenverfeinerungen sind schwer zu implementieren, wenn man einen konventionellen Standard-Retriever aufruft, und früh herausgefilterte Evidenz kann durch stärkeres nachgelagertes Reasoning nicht wiederhergestellt werden. Agentenaufgaben verschärfen diese Einschränkung weiter, da sie von Agenten verlangen, mehrere Schritte zu orchestrieren, einschließlich der Entdeckung von Zwischenentitäten, der Kombination schwacher Hinweise und der Überarbeitung des Plans nach Beobachtung teilweiser Evidenz. Um diese Einschränkung zu überwinden, untersuchen wir die direkte Korpusinteraktion (DCI), bei der ein Agent den Rohkorpus direkt mit allgemeinen Terminal-Tools (z.B. grep, Dateilesevorgänge, Shell-Befehle, leichtgewichtige Skripte) durchsucht, ohne ein Embedding-Modell, Vektorindex oder Retrieval-API. Dieser Ansatz erfordert keine Offline-Indizierung und passt sich natürlich an sich entwickelnde lokale Korpora an. In IR-Benchmarks und end-to-end agentenbasierten Suchaufgaben übertrifft dieses einfache Setup starke sparse, dense und Re-Ranking-Baselines auf mehreren BRIGHT- und BEIR-Datensätzen deutlich und erreicht hohe Genauigkeit bei BrowseComp-Plus und Multi-Hop-QA, ohne auf konventionelle semantische Retriever angewiesen zu sein. Unsere Ergebnisse zeigen, dass mit zunehmender Stärke von Sprachagenten die Retrieval-Qualität nicht nur von der Reasoning-Fähigkeit abhängt, sondern auch von der Auflösung der Schnittstelle, über die das Modell mit dem Korpus interagiert. DCI eröffnet hier einen breiteren Schnittstellengestaltungsraum für agentenbasierte Suche.
English
Modern retrieval systems, whether lexical or semantic, expose a corpus through a fixed similarity interface that compresses access into a single top-k retrieval step before reasoning. This abstraction is efficient, but for agentic search, it becomes a bottleneck: exact lexical constraints, sparse clue conjunctions, local context checks, and multi-step hypothesis refinement are difficult to implement by calling a conventional off-the-shelf retriever, and evidence filtered out early cannot be recovered by stronger downstream reasoning. Agentic tasks further exacerbate this limitation because they require agents to orchestrate multiple steps, including discovering intermediate entities, combining weak clues, and revising the plan after observing partial evidence. To tackle the limitation, we study direct corpus interaction (DCI), where an agent searches the raw corpus directly with general-purpose terminal tools (e.g., grep, file reads, shell commands, lightweight scripts), without any embedding model, vector index, or retrieval API. This approach requires no offline indexing and adapts naturally to evolving local corpora. Across IR benchmarks and end-to-end agentic search tasks, this simple setup substantially outperforms strong sparse, dense, and reranking baselines on several BRIGHT and BEIR datasets, and attains strong accuracy on BrowseComp-Plus and multi-hop QA without relying on any conventional semantic retriever. Our results indicate that as language agents become stronger, retrieval quality depends not only on reasoning ability but also on the resolution of the interface through which the model interacts with the corpus, with which DCI opens a broader interface-design space for agentic search.