구현 에이전트 아키텍처 설계의 자동화

초록

체화 에이전트는 일반적으로 지각, 기억, 계획, 행동 모듈을 수동으로 설계한 조합으로 구축된다. 이러한 모듈성은 방대한 아키텍처 설계 공간을 열어주지만, 현재 시스템은 정보 저장 위치, 관측 처리 방식, 모델 호출 연결 방법을 결정하는 데 여전히 연구자의 직관에 의존한다. 에이전트 아키텍처 탐색(Agent Architecture Search, AAS)은 텍스트 도메인 에이전트를 위한 이러한 설계를 자동화하지만, 시뮬레이터 롤아웃을 통한 지각적 체화 에이전트에 대해서는 체계적으로 평가된 바 없다. 우리는 이러한 전이를 연구한다. 우리는 AgentCanvas(타입 그래프 런타임으로, 시뮬레이터 인식 실행 및 에피소드 수준 로그를 갖춘 편집 가능한 노드-와이어 프로그램으로 체화 실행기를 호스팅함)와 KDLoop(제안, 비판, 실험, 증류를 순환하고 정체 후 반성을 유발하는 코딩 에이전트 탐색 절차)를 도입한다. 우리는 시각-언어 내비게이션, 체화 질문 응답, 언어 조건 조작을 포괄하는 네 가지 체화 실행기에서 세 가지 AAS 변형을 평가한다. 그 결과인 3×4 행렬은 아키텍처 수준 탐색이 체화 작업에서 배치 가능하고 방향성 있는 성공률 향상을 생성할 수 있음을 보여주지만, 겉보기에 높은 점수를 받은 후보 하나는 누수(leak)를 포함하는 것으로 기각된다. 동시에 실험은 텍스트 도메인 AAS에서는 드러나지 않는 제약 조건을 노출한다. 즉, 최적화 신호가 롤아웃 노이즈에 가려질 수 있고, 탐색이 국소적 편집 분지에 갇힐 수 있으며, 상세한 로그가 제공되더라도 에피소드 수준 신용 할당이 부분적으로만 나타난다. 이러한 결과는 체화 에이전트를 위한 자동화된 아키텍처 탐색의 가능성과 현재 한계를 모두 특성화한다.

English

Embodied agents are typically built as hand-designed compositions of perception, memory, planning, and action modules. This modularity exposes a large architectural design space, but current systems still rely on researcher intuition to choose where information is stored, how observations are processed, and how model calls are connected. Agent Architecture Search (AAS) automates such design for text-domain agents, but has not been systematically evaluated on perceptual embodied agents through simulator rollouts. We study this transfer. We introduce AgentCanvas, a typed-graph runtime that hosts embodied executors as editable node-and-wire programs with simulator-aware execution and episode-level logs, and KDLoop, a coding-agent search procedure that cycles through proposal, critique, experiment, and distillation, with triggered reflection after stalls. We evaluate three AAS variants across four embodied executors spanning vision-language navigation, embodied question answering, and language-conditioned manipulation. The resulting 3x4 matrix shows that architecture-level search can produce deployable and directional success-rate gains on embodied tasks, while one apparent high-scoring candidate is rejected as leak-bearing. At the same time, the experiments expose constraints that are muted in text-domain AAS: optimization signals can be masked by rollout noise, search can become trapped in local edit basins, and episode-level credit assignment only partially emerges even when detailed logs are available. These results characterize both the promise and the current limits of automated architecture search for embodied agents.