TRACE: 기업용 LLM에서 지식 보존 매개변수 도구 검색을 위한 비즈니스 규칙 기반 추론 커리큘럼

초록

파라메트릭 검색은 각 API에 고유한 가상 토큰을 할당하고 제약된 빔 검색을 통해 모델이 이를 생성하도록 훈련함으로써 LLM이 암시적으로 도구를 검색할 수 있게 한다. ToolSense는 이 방식에 두 가지 중요한 단점, 즉 훈련 중에 파라메트릭 도구 지식을 파괴하고 빔 검색 디코딩이 실시간 배포에 비해 너무 느리다는 점을 보여준다. 우리는 TRACE(Tool Retrieval via Augmented Chain-of-thought and Enterprise rules)를 소개한다. 이는 이러한 분리를 해결하는 2단계 커리큘럼이다. 1단계는 ToolSense의 다중 형식 암기 SFT를 재사용하여 LoRA로 도구 지식을 시딩한다. 2단계는 우리의 핵심 기여이다. 모델은 도구 토큰의 JSON 목록을 생성하기 전에 사고 추적을 출력하도록 훈련되며, 두 가지 데이터 소스(ToolSense의 RRB 쌍과 도메인 전문가가 선별한 비즈니스 규칙을 대상으로 합성된 쿼리)를 사용하며, 둘 다 추론 추적으로 증강된다. 이 훈련 목표는 1단계 MCQ 및 QA 프로빙 정확도를 유지하면서 단일 빔 그리디 디코딩을 생산 지연 시간으로 가능하게 한다. 두 개의 엔터프라이즈 제품 라인에 걸친 8,300개 이상의 도구로 구성된 통합 엔터프라이즈 카탈로그에서 평가한 결과, 2단계 TRACE 훈련은 도구 이해력을 유지할 뿐만 아니라 향상시킨다. MCQ 정확도는 1단계 대비 +3.2pp, QA 프로빙은 +9pp 증가한다. 검색에서 TRACE는 도메인 A에서 약 86%, 도메인 B에서 약 60%의 재현율을 달성한다. 이는 임베딩 기준 성능(약 27% 및 52%)과 비교되며, 둘 다 단일 빔 그리디 디코딩을 사용하여 생산 지연 시간에 직접 배포할 수 있다.

English

Parametric retrieval enables LLMs to retrieve tools implicitly by assigning each API a unique virtual token and training the model to generate it via constrained beam search. Toolsense shows that this regime has two critical drawbacks: it destroys parametric tool knowledge during training, and its beam-search decoding is too slow for real-time deployment. We introduce TRACE (Tool Retrieval via Augmented Chain-of-thought and Enterprise rules), a two-stage curriculum that resolves this dissociation. Stage 1 reuses the multi-format memorization SFT from ToolSense to seed tool knowledge with LoRA. Stage 2 is our core contribution: the model is trained to emit a thinking trace before producing a JSON list of tool tokens, using two data sources -- RRB pairs from ToolSense and queries synthesized to target business rules curated by domain experts -- both augmented with reasoning traces. This training objective preserves Stage 1 MCQ and QA probing accuracy while enabling single-beam greedy decoding at production latency. Evaluated on a combined enterprise catalog of 8,300+ tools across two enterprise product lines, TRACE training for Stage 2 not only preserves but improves tool understanding: MCQ accuracy gains +3.2 pp and QA probing gains +9 pp over Stage 1. On retrieval, TRACE achieves ~86% recall on Domain A and ~60% on Domain B -- compared to embedding baseline performance of ~27% & ~52% -- both with single-beam greedy decoding, making it directly deployable at production latency.