身体化エージェントアーキテクチャの設計自動化

要旨

身体化エージェントは、通常、知覚、記憶、計画、行動モジュールを手作業で設計した構成として構築される。このモジュール性は広大なアーキテクチャ設計空間を提供するが、現在のシステムでは、情報の保存場所、観測の処理方法、モデル呼び出しの接続方法の選択に依然として研究者の直感に依存している。エージェントアーキテクチャ探索（AAS）は、テキスト領域のエージェントに対してそのような設計を自動化するが、シミュレータロールアウトを通じた知覚的身体化エージェントに対する系統的評価は行われていない。本研究では、この転送を調査する。我々は、身体化実行器を編集可能なノード・ワイヤプログラムとしてホストし、シミュレータを認識した実行とエピソードレベルのログを備えた型付きグラフランタイムであるAgentCanvasと、提案、批判、実験、蒸留のサイクルを繰り返し、停滞後にトリガーされるリフレクションを備えたコーディングエージェント探索手順であるKDLoopを導入する。視覚言語ナビゲーション、身体化質問応答、言語条件付き操作にわたる4つの身体化実行器に対して、3つのAAS変種を評価する。結果として得られる3x4行列は、アーキテクチャレベルの探索が身体化タスクにおいて展開可能かつ方向性のある成功率向上をもたらす一方で、見かけ上高スコアの候補の1つはリークを含むものとして棄却されることを示している。同時に、実験はテキスト領域のAASでは抑えられていた制約、すなわち最適化シグナルがロールアウトノイズによってマスクされる可能性、探索が局所的な編集盆地に陥る可能性、詳細なログが利用可能であってもエピソードレベルのクレジット割り当てが部分的にしか出現しないことを露呈する。これらの結果は、身体化エージェントのための自動アーキテクチャ探索の可能性と現在の限界の両方を特徴づけるものである。

English

Embodied agents are typically built as hand-designed compositions of perception, memory, planning, and action modules. This modularity exposes a large architectural design space, but current systems still rely on researcher intuition to choose where information is stored, how observations are processed, and how model calls are connected. Agent Architecture Search (AAS) automates such design for text-domain agents, but has not been systematically evaluated on perceptual embodied agents through simulator rollouts. We study this transfer. We introduce AgentCanvas, a typed-graph runtime that hosts embodied executors as editable node-and-wire programs with simulator-aware execution and episode-level logs, and KDLoop, a coding-agent search procedure that cycles through proposal, critique, experiment, and distillation, with triggered reflection after stalls. We evaluate three AAS variants across four embodied executors spanning vision-language navigation, embodied question answering, and language-conditioned manipulation. The resulting 3x4 matrix shows that architecture-level search can produce deployable and directional success-rate gains on embodied tasks, while one apparent high-scoring candidate is rejected as leak-bearing. At the same time, the experiments expose constraints that are muted in text-domain AAS: optimization signals can be masked by rollout noise, search can become trapped in local edit basins, and episode-level credit assignment only partially emerges even when detailed logs are available. These results characterize both the promise and the current limits of automated architecture search for embodied agents.