Automatisierung des Entwurfs von Architekturen verkörperter Agenten

Zusammenfassung

Verkörperte Agenten werden typischerweise als handgefertigte Zusammensetzungen von Wahrnehmungs-, Gedächtnis-, Planungs- und Aktionsmodulen aufgebaut. Diese Modularität eröffnet einen großen architektonischen Gestaltungsraum, jedoch stützen sich aktuelle Systeme weiterhin auf die Intuition der Forscher, um zu entscheiden, wo Informationen gespeichert werden, wie Beobachtungen verarbeitet werden und wie Modellaufrufe miteinander verbunden sind. Die Agentenarchitektursuche (Agent Architecture Search, AAS) automatisiert ein solches Design für textbasierte Agenten, wurde jedoch nicht systematisch an wahrnehmungsbasierten verkörperten Agenten mittels Simulator-Durchläufen evaluiert. Wir untersuchen diese Übertragung. Wir stellen AgentCanvas vor, eine Laufzeitumgebung mit typisierten Graphen, die verkörperte Ausführer als editierbare Knoten-und-Verbindungs-Programme mit simulatorbewusster Ausführung und Protokollen auf Episodenebene beherbergt, sowie KDLoop, ein Suchverfahren auf Basis eines Kodieragenten, das die Phasen Vorschlag, Kritik, Experiment und Destillation durchläuft, mit ausgelöster Reflexion nach Stillständen. Wir evaluieren drei AAS-Varianten über vier verkörperte Ausführer hinweg, die Bereiche wie visuell-sprachliche Navigation, verkörpertes Fragebeantworten und sprachgesteuerte Manipulation abdecken. Die resultierende 3×4-Matrix zeigt, dass eine Suche auf Architekturebene einsetzbare und gerichtete Verbesserungen der Erfolgsrate bei verkörperten Aufgaben hervorbringen kann, während ein scheinbar hochpunktender Kandidat als datenleckbehaftet abgelehnt wird. Gleichzeitig legen die Experimente Einschränkungen offen, die bei textbasierten AAS-Ansätzen nur gedämpft auftreten: Optimierungssignale können durch Durchlaufrauschen überlagert werden, die Suche kann in lokalen Änderungsbecken stecken bleiben, und eine Kreditzuweisung auf Episodenebene tritt selbst dann nur teilweise zutage, wenn detaillierte Protokolle verfügbar sind. Diese Ergebnisse charakterisieren sowohl das Potenzial als auch die aktuellen Grenzen der automatischen Architektursuche für verkörperte Agenten.

English

Embodied agents are typically built as hand-designed compositions of perception, memory, planning, and action modules. This modularity exposes a large architectural design space, but current systems still rely on researcher intuition to choose where information is stored, how observations are processed, and how model calls are connected. Agent Architecture Search (AAS) automates such design for text-domain agents, but has not been systematically evaluated on perceptual embodied agents through simulator rollouts. We study this transfer. We introduce AgentCanvas, a typed-graph runtime that hosts embodied executors as editable node-and-wire programs with simulator-aware execution and episode-level logs, and KDLoop, a coding-agent search procedure that cycles through proposal, critique, experiment, and distillation, with triggered reflection after stalls. We evaluate three AAS variants across four embodied executors spanning vision-language navigation, embodied question answering, and language-conditioned manipulation. The resulting 3x4 matrix shows that architecture-level search can produce deployable and directional success-rate gains on embodied tasks, while one apparent high-scoring candidate is rejected as leak-bearing. At the same time, the experiments expose constraints that are muted in text-domain AAS: optimization signals can be masked by rollout noise, search can become trapped in local edit basins, and episode-level credit assignment only partially emerges even when detailed logs are available. These results characterize both the promise and the current limits of automated architecture search for embodied agents.