Переобучение поиску в больших языковых моделях с расширением возможностей поиска

Over-Searching in Search-Augmented Large Language Models

January 9, 2026

Авторы: Roy Xie, Deepak Gopinath, David Qiu, Dong Lin, Haitian Sun, Saloni Potdar, Bhuwan Dhingra

cs.AI

Аннотация

Большие языковые модели с поисковым усилением (LLM) демонстрируют превосходство в решении задач, требующих обширных знаний, за счет интеграции внешнего поиска. Однако они часто демонстрируют чрезмерный поиск — необоснованно активируют поисковый инструмент даже тогда, когда это не улучшает качество ответа, что приводит к вычислительной неэффективности и галлюцинациям из-за включения нерелевантного контекста. В данной работе мы проводим систематическую оценку чрезмерного поиска по множеству параметров, включая типы запросов, категории моделей, условия поиска и многотуровые диалоги. Наши результаты показывают: (i) поиск в целом повышает точность ответов на отвечаемые запросы, но ухудшает способность к воздержанию от ответа на неотвечаемые; (ii) чрезмерный поиск более выражен у моделей, ориентированных на сложные рассуждения, и в системах для углубленного исследования, усугубляется при наличии шума в результатах поиска и накапливается в ходе многотуровых бесед; и (iii) состав извлеченных свидетельств имеет критическое значение, поскольку наличие негативных свидетельств улучшает способность к воздержанию от ответа. Для количественной оценки чрезмерного поиска мы вводим метрику «Токены на единицу корректности» (Tokens Per Correctness, TPC), которая отражает компромисс между производительностью и затратами для LLM с поисковым усилением. Наконец, мы исследуем подходы к смягчению проблемы на уровнях как запроса, так и поиска и публикуем набор данных OverSearchQA для стимулирования дальнейших исследований в области эффективных LLM с поисковым усилением.

English

Search-augmented large language models (LLMs) excel at knowledge-intensive tasks by integrating external retrieval. However, they often over-search -- unnecessarily invoking search tool even when it does not improve response quality, which leads to computational inefficiency and hallucinations by incorporating irrelevant context. In this work, we conduct a systematic evaluation of over-searching across multiple dimensions, including query types, model categories, retrieval conditions, and multi-turn conversations. Our finding shows: (i) search generally improves answer accuracy on answerable queries but harms abstention on unanswerable ones; (ii) over-searching is more pronounced in complex reasoning models and deep research systems, is exacerbated by noisy retrieval, and compounds across turns in multi-turn conversations; and (iii) the composition of retrieved evidence is crucial, as the presence of negative evidence improves abstention. To quantify over-searching, we introduce Tokens Per Correctness (TPC), an evaluation metric that captures the performance-cost trade-off for search-augmented LLMs. Lastly, we investigate mitigation approaches at both the query and retrieval levels and release the OverSearchQA to foster continued research into efficient search-augmented LLMs.