LLM 기반 에이전트 평가를 위한 통합 프레임워크의 필요성

초록

대규모 언어 모델(LLM)의 등장으로 범용 에이전트 분야에는 근본적인 발전이 이루어졌습니다. 그러나 이러한 에이전트를 평가하는 작업은 정적 질의응답 벤치마크와 구별되는 독특한 과제를 제기합니다. 저희는 현재의 에이전트 벤치마크가 시스템 프롬프트, 도구 집합 구성, 환경 역학 등 외부 요인에 의해 크게 혼란을 겪고 있음을 관찰했습니다. 기존 평가 방식은 주로 단편적이고 연구자별로 상이한 프레임워크에 의존하며, 추론 및 도구 사용을 위한 프롬프트 엔지니어링이 크게 달라 성능 향상을 모델 자체의 효과로 귀속하기 어렵습니다. 또한 표준화된 환경 데이터의 부재는 추적 불가능한 오류와 재현 불가능한 결과를 초래합니다. 이러한 표준화 부재는 해당 분야에 상당한 불공정성과 불투명성을 야기하고 있습니다. 저희는 에이전트 평가의 엄격한 발전을 위해서는 통합 평가 프레임워크가 필수적이라고 제안합니다. 이를 위해 에이전트 평가의 표준화를 목표로 한 제안을 소개합니다.

English

With the advent of Large Language Models (LLMs), general-purpose agents have seen fundamental advancements. However, evaluating these agents presents unique challenges that distinguish them from static QA benchmarks. We observe that current agent benchmarks are heavily confounded by extraneous factors, including system prompts, toolset configurations, and environmental dynamics. Existing evaluations often rely on fragmented, researcher-specific frameworks where the prompt engineering for reasoning and tool usage varies significantly, making it difficult to attribute performance gains to the model itself. Additionally, the lack of standardized environmental data leads to untraceable errors and non-reproducible results. This lack of standardization introduces substantial unfairness and opacity into the field. We propose that a unified evaluation framework is essential for the rigorous advancement of agent evaluation. To this end, we introduce a proposal aimed at standardizing agent evaluation.

LLM 기반 에이전트 평가를 위한 통합 프레임워크의 필요성

The Necessity of a Unified Framework for LLM-Based Agent Evaluation

초록

Support