다중 에이전트 자동화 연구 시스템을 위한 용어집

초록

우리는 하나 이상의 에이전트로 구축된 자동화 연구 시스템의 설계 선택 사항을 보다 쉽게 기술하고 비교할 수 있는 어휘를 소개한다. 이 어휘는 1) 에이전트가 누구인지, 2) 시스템에서 이용 가능한 연산은 무엇인지, 3) 누가 이를 호출할 수 있는지, 4) 에이전트가 어떻게 통신하는지, 5) 실행 내부 및 실행 간에 어떤 정보가 보이는지, 6) 다음 행동이 어떻게 선택되는지, 7) 실행이 어떻게 시작되는지, 8) 출력이 어떻게 평가되는지를 명시한다. 궤적은 입력 작업부터 반환된 결과물까지의 한 번의 실행을 기록한다. 에이전트, 연산, 초기화는 확률적일 수 있으므로, 동일한 작업에 대해 반복된 실행은 단일 행동이 아닌 궤적에 대한 분포를 유도한다. 우리가 제안하는 어휘는 에이전트가 언제 통신해야 하는지, 언제 능력을 획득하거나 상실해야 하는지, 언제 실행 간에 정보를 전달해야 하는지와 같은 구조적 설계 질문을 검증 가능한 선택 사항으로 전환한다. 또한 평가자를 시스템의 구성 요소로 만드는데, 이는 보고된 성능 향상이 대리 점수가 실제 품질과 얼마나 가까운지에 의존하기 때문이다. 이러한 분리는 해당 시스템이 안목이 부족하다는 막연한 불만을 서로 다른 해결책을 가진 두 가지 실패 유형으로 나눈다. 생성적 안목은 점수가 관찰되기 전에 시스템이 새로운 궤적을 제안하는 비율이며, 평가적 안목은 대리 점수와 그것이 일치해야 하는 품질 간의 차이이다. 우리는 최근의 자동 연구 시스템에 이 어휘를 적용하여 구조적으로 크게 다른 설계들을 포괄할 수 있음을 보여준다.

English

We introduce a vocabulary for automated research systems built from one or more agents to make their design choices easier to describe and compare. The vocabulary specifies 1) who the agents are, 2) what operations are available in the system, 3) who may invoke them, 4) how agents communicate, 5) what information is visible within and across runs, 6) how the next action is chosen, 7) how a run begins, and 8) how outputs are evaluated. A trajectory records one run from the input task to the returned artifact. Because agents, operations, and initialization may be stochastic, repeated runs on the same task induce a distribution over trajectories rather than a single behavior. Our vocabulary turns structural design questions, such as when agents should communicate, gain or lose a capability, or carry information across runs, into testable choices. It also makes the evaluator a component of the system, since reported gains depend on how closely the proxy score matches true quality. That separation also splits the vague complaint that these systems lack taste into two failures with different solutions. Generative taste is the rate at which a system proposes novel trajectories before any score is observed, and evaluative taste is the gap between the proxy score and the quality it should match. We instantiate the vocabulary on recent autoresearch systems to illustrate that it covers designs that differ widely in structure.