Agentische Suche in der Praxis: Intentionen und Trajektoriendynamik aus über 14 Millionen echten Suchanfragen

papers.abstract

LLM-gestützte Suchagenten werden zunehmend für mehrstufige Informationssuchaufgaben eingesetzt, doch der IR-Community fehlt ein empirisches Verständnis dafür, wie agentenbasierte Suchsitzungen ablaufen und wie abgerufene Evidenz genutzt wird. Dieser Beitrag präsentiert eine groß angelegte Log-Analyse agentenbasierter Suche auf Basis von 14,44 Millionen Suchanfragen (3,97 Millionen Sitzungen), die von DeepResearchGym gesammelt wurden, einer Open-Source-Such-API, die von externen agentenbasierten Clients aufgerufen wird. Wir strukturieren die Logs in Sitzungen, weisen sitzungsbasierte Intents und schrittweise Query-Reformulierungslabels mittels LLM-basierter Annotation zu und schlagen die Context-driven Term Adoption Rate (CTAR) vor, um zu quantifizieren, ob neu eingeführte Suchbegriffe auf zuvor abgerufene Evidenz zurückgeführt werden können. Unsere Analysen zeigen charakteristische Verhaltensmuster. Erstens enthalten über 90 % der mehrstufigen Sitzungen maximal zehn Schritte, und 89 % der Intervalle zwischen Schritten liegen unter einer Minute. Zweitens variiert das Verhalten je nach Intent. Faktenorientierte Sitzungen weisen eine hohe Wiederholungsrate auf, die über die Zeit zunimmt, während Sitzungen, die Reasoning erfordern, eine breitere Exploration beibehalten. Drittens nutzen Agenten Evidenz schrittübergreifend wieder. Im Durchschnitt tauchen 54 % der neu eingeführten Suchbegriffe im akkumulierten Evidenzkontext auf, wobei Beiträge aus früheren Schritten über die jüngste Abfrage hinausgehen. Die Ergebnisse legen nahe, dass agentenbasierte Suche von wiederholungsbewusstem Early Stopping, intent-adaptiven Retrieval-Budgets und expliziter schrittübergreifender Kontextverfolgung profitieren könnte. Wir planen, die anonymisierten Logs zu veröffentlichen, um zukünftige Forschung zu unterstützen.

English

LLM-powered search agents are increasingly being used for multi-step information seeking tasks, yet the IR community lacks empirical understanding of how agentic search sessions unfold and how retrieved evidence is used. This paper presents a large-scale log analysis of agentic search based on 14.44M search requests (3.97M sessions) collected from DeepResearchGym, i.e. an open-source search API accessed by external agentic clients. We sessionize the logs, assign session-level intents and step-wise query-reformulation labels using LLM-based annotation, and propose Context-driven Term Adoption Rate (CTAR) to quantify whether newly introduced query terms are traceable to previously retrieved evidence. Our analyses reveal distinctive behavioral patterns. First, over 90% of multi-turn sessions contain at most ten steps, and 89% of inter-step intervals fall under one minute. Second, behavior varies by intent. Fact-seeking sessions exhibit high repetition that increases over time, while sessions requiring reasoning sustain broader exploration. Third, agents reuse evidence across steps. On average, 54% of newly introduced query terms appear in the accumulated evidence context, with contributions from earlier steps beyond the most recent retrieval. The findings suggest that agentic search may benefit from repetition-aware early stopping, intent-adaptive retrieval budgets, and explicit cross-step context tracking. We plan to release the anonymized logs to support future research.

Agentische Suche in der Praxis: Intentionen und Trajektoriendynamik aus über 14 Millionen echten Suchanfragen

Agentic Search in the Wild: Intents and Trajectory Dynamics from 14M+ Real Search Requests

papers.abstract

Support