LLM과 유도된 소형 프록시의 이야기: 지식 마이닝을 위한 확장 가능한 에이전트

A Tale of LLMs and Induced Small Proxies: Scalable Agents for Knowledge Mining

October 1, 2025

저자: Sipeng Zhang, Longfei Yun, Zilong Wang, Jingbo Shang, Letian Peng

cs.AI

초록

Deep Research의 핵심은 사용자 지시에 따라 대규모 비정형 텍스트에서 구조화된 정보를 추출하는 지식 마이닝 작업입니다. 대형 언어 모델(LLM)은 이러한 지시를 해석하는 데 탁월하지만 대규모로 배포하기에는 비용이 너무 많이 들며, 전통적인 분류기 및 추출기 파이프라인은 효율적이지만 취약하고 새로운 작업으로 일반화할 수 없습니다. 우리는 LLM의 에이전트적 추론과 확장 가능한 지식 마이닝을 위한 경량 프록시 모델을 결합한 협업 프레임워크인 Falconer를 소개합니다. Falconer에서 LLM은 사용자 지시를 실행 가능한 파이프라인으로 분해하는 플래너 역할과 작은 프록시를 훈련하기 위한 감독을 생성하는 어노테이터 역할을 합니다. 이 프레임워크는 분류와 추출을 두 가지 기본 작업인 'get label'과 'get span'으로 통합하여 단일 지시 수행 모델이 여러 작업별 구성 요소를 대체할 수 있도록 합니다. Falconer에 의해 양성된 프록시 모델과 인간 및 대형 모델이 제공한 어노테이션 간의 일관성을 평가하기 위해, 우리는 플래닝과 종단 간 실행을 모두 포함하는 새로운 벤치마크를 구축했습니다. 실험 결과, Falconer는 지시 수행 정확도에서 최신 LLM과 거의 일치하면서 추론 비용을 최대 90% 절감하고 대규모 지식 마이닝 속도를 20배 이상 가속화하여 Deep Research를 위한 효율적이고 확장 가능한 기반을 제공합니다.

English

At the core of Deep Research is knowledge mining, the task of extracting structured information from massive unstructured text in response to user instructions. Large language models (LLMs) excel at interpreting such instructions but are prohibitively expensive to deploy at scale, while traditional pipelines of classifiers and extractors remain efficient yet brittle and unable to generalize to new tasks. We introduce Falconer, a collaborative framework that combines the agentic reasoning of LLMs with lightweight proxy models for scalable knowledge mining. In Falconer, LLMs act as planners, decomposing user instructions into executable pipelines, and as annotators, generating supervision to train small proxies. The framework unifies classification and extraction into two atomic operations, get label and get span, enabling a single instruction-following model to replace multiple task-specific components. To evaluate the consistency between proxy models incubated by Falconer and annotations provided by humans and large models, we construct new benchmarks covering both planning and end-to-end execution. Experiments show that Falconer closely matches state-of-the-art LLMs in instruction-following accuracy while reducing inference cost by up to 90% and accelerating large-scale knowledge mining by more than 20x, offering an efficient and scalable foundation for Deep Research.