루프된 언어 모델이 조합적 도구 호출을 개선한다

초록

순환 언어 모델은 추론 벤치마크에서 유망한 결과를 보여 주었지만, 에이전트 도구 사용에 있어서의 잠재력은 아직 크게 탐구되지 않았다. 본 연구는 모델이 여러 API 호출을 조정하고, 중간 상태를 유지하며, 도구 상호작용 간의 의존성을 보존해야 하는 구성적 도구 호출 환경에서 이 문제를 조사한다. 우리는 API-Bank, BFCL, NESTful에서 네이티브 및 개조형 순환 언어 모델을 평가하고, 동일한 지도 미세 조정 레시피와 추론 시 다양한 순환 깊이로 훈련된 순환 모델과 비순환 모델을 비교한다. 통제된 실험에서 순환 계산은 일반적으로 구성적 및 의존성 인지 도구 사용에 이점을 제공하는 반면, 단일 API 호출에서는 더 작고 모델 의존적인 개선을 보인다. 다단계 도구 사용의 정확도는 일반적으로 순환 깊이에 따라 증가하지만, 적응형 추론은 필요할 때만 추가 계산을 할당함으로써 더 유리한 계산-성능 절충을 달성한다. 본 연구 결과는 순환 언어 모델이 구성적 도구 사용 워크플로우의 안정적인 계획, 조정, 실행을 요구하는 에이전트 시스템에 유망한 아키텍처임을 시사한다.

English

Looped language models have shown promising results on reasoning benchmarks, yet their potential for agentic tool use remains largely unexplored. We study this question in compositional tool-calling settings, where models must coordinate multiple API calls, maintain intermediate state, and preserve dependencies across tool interactions. We evaluate native and retrofitted looped language models on API-Bank, BFCL, and NESTful, comparing looped and non-looped models trained under matched supervised fine-tuning recipes and varying recurrent depth at inference time. In controlled experiments, recurrent computation generally benefits compositional and dependency-aware tool use, while providing smaller and more model-dependent gains on isolated API invocation. Accuracy on multi-step tool use generally increases with recurrent depth; adaptive inference, however, achieves a more favorable compute-performance trade-off by allocating additional computation only when needed. Our results suggest that looped language models are a promising architecture for agentic systems that require reliable planning, coordination, and execution of compositional tool use workflows.