История больших языковых моделей и индуцированных малых прокси: масштабируемые агенты для извлечения знаний

A Tale of LLMs and Induced Small Proxies: Scalable Agents for Knowledge Mining

October 1, 2025

Авторы: Sipeng Zhang, Longfei Yun, Zilong Wang, Jingbo Shang, Letian Peng

cs.AI

Аннотация

В основе Deep Research лежит извлечение знаний — задача структурирования информации из огромных объемов неструктурированного текста в ответ на пользовательские запросы. Крупные языковые модели (LLM) превосходно справляются с интерпретацией таких запросов, но их масштабное развертывание чрезмерно дорого, в то время как традиционные конвейеры классификаторов и экстракторов остаются эффективными, но хрупкими и неспособными обобщать новые задачи. Мы представляем Falconer — совместную платформу, которая объединяет агентное рассуждение LLM с легковесными прокси-моделями для масштабируемого извлечения знаний. В Falconer LLM выступают в роли планировщиков, разбивающих пользовательские запросы на исполняемые конвейеры, и в роли аннотаторов, генерирующих данные для обучения небольших прокси-моделей. Платформа объединяет классификацию и извлечение в две атомарные операции — get label и get span, что позволяет одной модели, следующей инструкциям, заменить множество специализированных компонентов. Для оценки согласованности между прокси-моделями, созданными Falconer, и аннотациями, предоставленными людьми и крупными моделями, мы разработали новые бенчмарки, охватывающие как планирование, так и сквозное выполнение. Эксперименты показывают, что Falconer близко соответствует точности современных LLM в следовании инструкциям, при этом снижая стоимость вывода до 90% и ускоряя масштабное извлечение знаний более чем в 20 раз, предлагая эффективную и масштабируемую основу для Deep Research.

English

At the core of Deep Research is knowledge mining, the task of extracting structured information from massive unstructured text in response to user instructions. Large language models (LLMs) excel at interpreting such instructions but are prohibitively expensive to deploy at scale, while traditional pipelines of classifiers and extractors remain efficient yet brittle and unable to generalize to new tasks. We introduce Falconer, a collaborative framework that combines the agentic reasoning of LLMs with lightweight proxy models for scalable knowledge mining. In Falconer, LLMs act as planners, decomposing user instructions into executable pipelines, and as annotators, generating supervision to train small proxies. The framework unifies classification and extraction into two atomic operations, get label and get span, enabling a single instruction-following model to replace multiple task-specific components. To evaluate the consistency between proxy models incubated by Falconer and annotations provided by humans and large models, we construct new benchmarks covering both planning and end-to-end execution. Experiments show that Falconer closely matches state-of-the-art LLMs in instruction-following accuracy while reducing inference cost by up to 90% and accelerating large-scale knowledge mining by more than 20x, offering an efficient and scalable foundation for Deep Research.