Dr-DCI: Het opschalen van directe corpusinteractie via dynamische werkruimte-uitbreiding

Samenvatting

Agentisch zoeken over grote corpora vertrouwt op door retrievers gemedieerde interfaces (bijv. BM25 of ColBERT) voor schaalbare kandidaatdetectie. Hoewel effectief in het rangschikken van relevante documenten, presenteren deze interfaces bewijs alleen als gerangschikte resultaten of begrensde documentweergaven, waardoor het vermogen van agents om materiaal te herorganiseren en beperkingen over documenten heen te verifiëren wordt beperkt. Directe Corpusinteractie (DCI) pakt deze beperking aan door shell-uitvoerbare corpusoperaties bloot te stellen voor flexibel zoeken, filteren, vergelijken en verifiëren. Echter, terminalopdrachten op het volledige corpus worden traag en instabiel naarmate het corpus groeit, wat de prestaties en efficiëntie aantast. We introduceren DR-DCI, een door een retriever gestuurd DCI-raamwerk dat retrieval behandelt als een door een agent aanroepbare actie voor het uitbreiden van een lokale werkruimte. In plaats van rechtstreeks over het volledige corpus te opereren, haalt de agent dynamisch relevante documenten in een evoluerende werkruimte en voert daarin DCI-operaties uit. Dit ontwerp combineert recall op retrieverniveau met precisie in DCI-stijl: retrieval houdt exploratie schaalbaar, terwijl DCI de lokale operaties behoudt die nodig zijn voor effectieve bewijsresolutie. Experimenten tonen aan dat DR-DCI zowel effectief als efficiënt is over verschillende schalen. Op Browsecomp-Plus bereikt DR-DCI 71,2% nauwkeurigheid, een verbetering ten opzichte van ruwe DCI en geablateerde varianten met tot 8,3 procentpunten, terwijl toolgebruik, verstreken tijd en geschatte kosten worden verminderd. Met werkruimtebehoudende contextreset neemt de nauwkeurigheid verder toe tot 73,3%. In corpusschalingsexperimenten blijft DR-DCI effectief van 100K tot 10M documenten, terwijl ruwe DCI instabiel wordt en BM25 aanzienlijk slechter presteert. DR-DCI schaalt ook naar een 20M-schaal bestand-per-document Wiki-18 QA-omgeving, met een gemiddelde score van 63,0 over zes benchmarks, en presteert beter dan op retrieval gebaseerde en getrainde zoekagent-baselines. Ablatie-analyse toont verder aan dat gerangschikte voorvertoningen en inter-document DCI de sleutel zijn tot prestaties.

English

Agentic search over large corpora relies on retriever-mediated interfaces (e.g., BM25 or ColBERT) for scalable candidate discovery. While effective at ranking relevant documents, these interfaces expose evidence only as ranked results or bounded document views, limiting agents' ability to reorganize material and verify constraints across documents. Direct Corpus Interaction (DCI) addresses this limitation by exposing shell-executable corpus operations for flexible search, filtering, comparison, and verification. However, full-corpus terminal commands become slow and unstable as the corpus grows, degrading performance and efficiency. We introduce DR-DCI, a retriever-steered DCI framework that treats retrieval as an agent-callable action for expanding a local workspace. Rather than operating directly over the full corpus, the agent dynamically pulls relevant documents into an evolving workspace and conducts DCI operations within it. This design combines retriever-level recall with DCI-style precision: retrieval keeps exploration scalable, while DCI preserves the local operations needed for effective evidence resolution. Experiments show that DR-DCI is both effective and efficient across scales. On Browsecomp-Plus, DR-DCI reaches 71.2\% accuracy, improving over raw DCI and ablated variants by up to 8.3 points while reducing tool usage, wall time, and estimated cost. With workspace-preserving context reset, accuracy further improves to 73.3\%. In corpus-scaling experiments, DR-DCI remains effective from 100K to 10M documents, whereas raw DCI becomes unstable and BM25 performs substantially worse. DR-DCI also scales to a 20M-scale file-per-document Wiki-18 QA setting, achieving an average score of 63.0 across six benchmarks and outperforming retrieval-based and trained search-agent baselines. Ablation analysis further shows that ranked previews and inter-document DCI are key to performance.