Une histoire de LLM et de petits proxies induits : des agents scalables pour l'extraction de connaissances

A Tale of LLMs and Induced Small Proxies: Scalable Agents for Knowledge Mining

October 1, 2025

papers.authors: Sipeng Zhang, Longfei Yun, Zilong Wang, Jingbo Shang, Letian Peng

cs.AI

papers.abstract

Au cœur de Deep Research se trouve l'extraction de connaissances, une tâche consistant à extraire des informations structurées à partir de masses de textes non structurés en réponse aux instructions des utilisateurs. Les grands modèles de langage (LLMs) excellent dans l'interprétation de ces instructions, mais leur déploiement à grande échelle est prohibitivement coûteux, tandis que les pipelines traditionnels de classificateurs et d'extracteurs restent efficaces mais fragiles et incapables de généraliser à de nouvelles tâches. Nous présentons Falconer, un cadre collaboratif qui combine le raisonnement agentique des LLMs avec des modèles proxy légers pour une extraction de connaissances scalable. Dans Falconer, les LLMs agissent comme des planificateurs, décomposant les instructions des utilisateurs en pipelines exécutables, et comme des annotateurs, générant des supervisions pour entraîner de petits proxies. Le cadre unifie la classification et l'extraction en deux opérations atomiques, obtenir une étiquette et obtenir un segment, permettant à un seul modèle suivant les instructions de remplacer plusieurs composants spécifiques à une tâche. Pour évaluer la cohérence entre les modèles proxy incubés par Falconer et les annotations fournies par les humains et les grands modèles, nous construisons de nouveaux benchmarks couvrant à la fois la planification et l'exécution de bout en bout. Les expériences montrent que Falconer atteint une précision comparable aux LLMs de pointe dans le suivi des instructions tout en réduisant les coûts d'inférence jusqu'à 90 % et en accélérant l'extraction de connaissances à grande échelle de plus de 20 fois, offrant ainsi une base efficace et scalable pour Deep Research.

English

At the core of Deep Research is knowledge mining, the task of extracting structured information from massive unstructured text in response to user instructions. Large language models (LLMs) excel at interpreting such instructions but are prohibitively expensive to deploy at scale, while traditional pipelines of classifiers and extractors remain efficient yet brittle and unable to generalize to new tasks. We introduce Falconer, a collaborative framework that combines the agentic reasoning of LLMs with lightweight proxy models for scalable knowledge mining. In Falconer, LLMs act as planners, decomposing user instructions into executable pipelines, and as annotators, generating supervision to train small proxies. The framework unifies classification and extraction into two atomic operations, get label and get span, enabling a single instruction-following model to replace multiple task-specific components. To evaluate the consistency between proxy models incubated by Falconer and annotations provided by humans and large models, we construct new benchmarks covering both planning and end-to-end execution. Experiments show that Falconer closely matches state-of-the-art LLMs in instruction-following accuracy while reducing inference cost by up to 90% and accelerating large-scale knowledge mining by more than 20x, offering an efficient and scalable foundation for Deep Research.