マルチエージェント自動研究システムのための語彙

要旨

我々は、1つ以上のエージェントから構築される自動研究システムの設計上の選択を記述・比較しやすくするための語彙を導入する。この語彙は、1) エージェントの正体、2) システムで利用可能な操作、3) それらの操作を呼び出せる主体、4) エージェント間の通信方法、5) 実行内および実行間で可視な情報、6) 次のアクションの選択方法、7) 実行の開始方法、8) 出力の評価方法を指定する。軌跡（trajectory）は、入力タスクから返却される成果物までの1回の実行を記録する。エージェント、操作、初期化は確率的である可能性があるため、同一タスクに対する繰り返し実行は単一の挙動ではなく、軌跡上の分布を生じさせる。我々の語彙は、エージェント間の通信タイミング、能力の獲得・喪失、実行間での情報伝達といった構造的な設計上の問いを、検証可能な選択へと変換する。また、報告される改善度は代理スコアが真の品質にどれだけ近いかに依存するため、評価器（evaluator）をシステムの構成要素とする。この分離により、これらのシステムには「味覚（taste）」が欠けているという曖昧な批判が、異なる解決策を要する2つの失敗に分割される。生成的味覚（generative taste）とは、スコアが観測される前にシステムが新奇な軌跡を提案する割合であり、評価的味覚（evaluative taste）とは、代理スコアとそれが一致すべき品質との間のギャップである。我々はこの語彙を最近の自動研究システムに適用し、構造が大きく異なる設計を網羅できることを示す。

English

We introduce a vocabulary for automated research systems built from one or more agents to make their design choices easier to describe and compare. The vocabulary specifies 1) who the agents are, 2) what operations are available in the system, 3) who may invoke them, 4) how agents communicate, 5) what information is visible within and across runs, 6) how the next action is chosen, 7) how a run begins, and 8) how outputs are evaluated. A trajectory records one run from the input task to the returned artifact. Because agents, operations, and initialization may be stochastic, repeated runs on the same task induce a distribution over trajectories rather than a single behavior. Our vocabulary turns structural design questions, such as when agents should communicate, gain or lose a capability, or carry information across runs, into testable choices. It also makes the evaluator a component of the system, since reported gains depend on how closely the proxy score matches true quality. That separation also splits the vague complaint that these systems lack taste into two failures with different solutions. Generative taste is the rate at which a system proposes novel trajectories before any score is observed, and evaluative taste is the gap between the proxy score and the quality it should match. We instantiate the vocabulary on recent autoresearch systems to illustrate that it covers designs that differ widely in structure.