자기 도전 언어 모델 에이전트

초록

대규모 언어 모델은 도구를 사용할 수 있는 지능형 에이전트의 기반으로 빠르게 자리 잡고 있습니다. 그러나 이러한 에이전트를 훈련하는 것은 다양한 작업, 도구 및 평가 기준을 인간이 직접 생성하고 주석을 달아야 하기 때문에 어려운 과제입니다. 본 논문에서는 에이전트가 스스로 생성한 고품질 작업을 통해 훈련할 수 있는 Self-Challenging 프레임워크를 제안합니다. 이 프레임워크에서 에이전트는 먼저 도전자 역할을 맡아 주어진 도구와 상호작용한 후 작업을 생성합니다. 이러한 작업은 Code-as-Task라는 새로운 일반적인 문제 클래스로 정의되며, 이는 명령어, 검증 함수, 그리고 테스트 역할을 하는 솔루션 및 실패 사례로 구성되어 고품질 작업만을 선별할 수 있도록 합니다. 이후 에이전트는 실행자 역할을 맡아 이러한 작업에 대해 강화 학습을 수행하며, 평가 피드백을 보상으로 활용합니다. 기존의 다중 턴 도구 사용 에이전트 벤치마크인 M3ToolEval과 TauBench에서의 평가 결과, Self-Challenging 프레임워크는 Llama-3.1-8B-Instruct 모델에서 2배 이상의 성능 향상을 달성했으며, 이는 오직 자체 생성된 훈련 데이터만을 사용한 결과입니다.

English

Large language models are quickly becoming the foundation for intelligent agents that are capable of using tools. However, training such agents is challenging because it requires human creation and annotation of a diverse set of tasks, tools, and evaluation criteria. In this paper, we propose the Self-Challenging framework for training an agent on high-quality tasks that are generated by itself. The agent first plays the role of challenger and generates a task after interacting with the given tools. The tasks take the form of a novel general class of problems termed Code-as-Task, which are defined by an instruction, a verification function and solution and failure cases which serve as tests, allowing to filter only for high-quality tasks. The agent then takes an executor role and trains on those tasks with reinforcement learning using the evaluation feedback as a reward. Evaluation on two existing multi-turn tool-use agent benchmarks, M3ToolEval and TauBench, shows the Self-Challenging framework achieves over a two-fold improvement in Llama-3.1-8B-Instruct, despite using only self-generated training data.

자기 도전 언어 모델 에이전트

Self-Challenging Language Model Agents

초록

Support