Um Conto de LLMs e Pequenos Proxies Induzidos: Agentes Escaláveis para Mineração de Conhecimento

A Tale of LLMs and Induced Small Proxies: Scalable Agents for Knowledge Mining

October 1, 2025

Autores: Sipeng Zhang, Longfei Yun, Zilong Wang, Jingbo Shang, Letian Peng

cs.AI

Resumo

No cerne da Deep Research está a mineração de conhecimento, a tarefa de extrair informações estruturadas de textos massivos e não estruturados em resposta a instruções do usuário. Modelos de linguagem de grande escala (LLMs) se destacam na interpretação dessas instruções, mas são proibitivamente caros para implantação em larga escala, enquanto pipelines tradicionais de classificadores e extratores permanecem eficientes, porém frágeis e incapazes de generalizar para novas tarefas. Apresentamos o Falconer, um framework colaborativo que combina o raciocínio agentivo dos LLMs com modelos proxy leves para mineração de conhecimento escalável. No Falconer, os LLMs atuam como planejadores, decompondo instruções do usuário em pipelines executáveis, e como anotadores, gerando supervisão para treinar proxies menores. O framework unifica classificação e extração em duas operações atômicas, get label e get span, permitindo que um único modelo de seguimento de instruções substitua múltiplos componentes específicos para tarefas. Para avaliar a consistência entre os modelos proxy incubados pelo Falconer e as anotações fornecidas por humanos e grandes modelos, construímos novos benchmarks que cobrem tanto o planejamento quanto a execução de ponta a ponta. Experimentos mostram que o Falconer se aproxima da precisão dos LLMs de última geração no seguimento de instruções, enquanto reduz o custo de inferência em até 90% e acelera a mineração de conhecimento em larga escala em mais de 20 vezes, oferecendo uma base eficiente e escalável para a Deep Research.

English

At the core of Deep Research is knowledge mining, the task of extracting structured information from massive unstructured text in response to user instructions. Large language models (LLMs) excel at interpreting such instructions but are prohibitively expensive to deploy at scale, while traditional pipelines of classifiers and extractors remain efficient yet brittle and unable to generalize to new tasks. We introduce Falconer, a collaborative framework that combines the agentic reasoning of LLMs with lightweight proxy models for scalable knowledge mining. In Falconer, LLMs act as planners, decomposing user instructions into executable pipelines, and as annotators, generating supervision to train small proxies. The framework unifies classification and extraction into two atomic operations, get label and get span, enabling a single instruction-following model to replace multiple task-specific components. To evaluate the consistency between proxy models incubated by Falconer and annotations provided by humans and large models, we construct new benchmarks covering both planning and end-to-end execution. Experiments show that Falconer closely matches state-of-the-art LLMs in instruction-following accuracy while reducing inference cost by up to 90% and accelerating large-scale knowledge mining by more than 20x, offering an efficient and scalable foundation for Deep Research.