Un relato sobre LLM y proxies pequeños inducidos: agentes escalables para la minería de conocimiento

A Tale of LLMs and Induced Small Proxies: Scalable Agents for Knowledge Mining

October 1, 2025

Autores: Sipeng Zhang, Longfei Yun, Zilong Wang, Jingbo Shang, Letian Peng

cs.AI

Resumen

En el núcleo de Deep Research se encuentra la minería de conocimiento, la tarea de extraer información estructurada de textos masivos no estructurados en respuesta a las instrucciones del usuario. Los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) sobresalen en la interpretación de dichas instrucciones, pero su implementación a gran escala resulta prohibitivamente costosa, mientras que los enfoques tradicionales basados en clasificadores y extractores siguen siendo eficientes pero frágiles e incapaces de generalizar a nuevas tareas. Presentamos Falconer, un marco colaborativo que combina el razonamiento agente de los LLMs con modelos proxy ligeros para la minería de conocimiento escalable. En Falconer, los LLMs actúan como planificadores, descomponiendo las instrucciones del usuario en pipelines ejecutables, y como anotadores, generando supervisión para entrenar proxies pequeños. El marco unifica la clasificación y la extracción en dos operaciones atómicas, obtener etiqueta y obtener segmento, permitiendo que un único modelo que sigue instrucciones reemplace múltiples componentes específicos de tareas. Para evaluar la consistencia entre los modelos proxy incubados por Falconer y las anotaciones proporcionadas por humanos y modelos grandes, construimos nuevos puntos de referencia que cubren tanto la planificación como la ejecución de extremo a extremo. Los experimentos muestran que Falconer iguala de cerca la precisión de los LLMs de última generación en el seguimiento de instrucciones, mientras reduce el costo de inferencia hasta en un 90% y acelera la minería de conocimiento a gran escala en más de 20 veces, ofreciendo una base eficiente y escalable para Deep Research.

English

At the core of Deep Research is knowledge mining, the task of extracting structured information from massive unstructured text in response to user instructions. Large language models (LLMs) excel at interpreting such instructions but are prohibitively expensive to deploy at scale, while traditional pipelines of classifiers and extractors remain efficient yet brittle and unable to generalize to new tasks. We introduce Falconer, a collaborative framework that combines the agentic reasoning of LLMs with lightweight proxy models for scalable knowledge mining. In Falconer, LLMs act as planners, decomposing user instructions into executable pipelines, and as annotators, generating supervision to train small proxies. The framework unifies classification and extraction into two atomic operations, get label and get span, enabling a single instruction-following model to replace multiple task-specific components. To evaluate the consistency between proxy models incubated by Falconer and annotations provided by humans and large models, we construct new benchmarks covering both planning and end-to-end execution. Experiments show that Falconer closely matches state-of-the-art LLMs in instruction-following accuracy while reducing inference cost by up to 90% and accelerating large-scale knowledge mining by more than 20x, offering an efficient and scalable foundation for Deep Research.