Entdeckung anpassungsfähiger symbolischer Algorithmen von Grund auf

Discovering Adaptable Symbolic Algorithms from Scratch

July 31, 2023

Autoren: Stephen Kelly, Daniel S. Park, Xingyou Song, Mitchell McIntire, Pranav Nashikkar, Ritam Guha, Wolfgang Banzhaf, Kalyanmoy Deb, Vishnu Naresh Boddeti, Jie Tan, Esteban Real

cs.AI

Zusammenfassung

Autonome Roboter, die in der realen Welt eingesetzt werden, benötigen Steuerungsstrategien, die sich schnell an Umweltveränderungen anpassen. Zu diesem Zweck schlagen wir AutoRobotics-Zero (ARZ) vor, eine Methode, die auf AutoML-Zero basiert und null-Shot-anpassbare Strategien von Grund auf entdeckt. Im Gegensatz zu Anpassungsstrategien für neuronale Netze, bei denen nur Modellparameter optimiert werden, kann ARZ Steuerungsalgorithmen mit der vollen Ausdruckskraft einer linearen Registermaschine entwickeln. Wir entwickeln modulare Strategien, die ihre Modellparameter anpassen und ihren Inferenzalgorithmus on-the-fly verändern, um sich plötzlichen Umweltveränderungen anzupassen. Wir demonstrieren unsere Methode an einem realistisch simulierten Quadruped-Roboter, für den wir sichere Steuerungsstrategien entwickeln, die ein Umkippen verhindern, wenn einzelne Gliedmaßen plötzlich versagen. Dies ist eine anspruchsvolle Aufgabe, bei der zwei beliebte neuronale Netzwerk-Baselines scheitern. Schließlich führen wir eine detaillierte Analyse unserer Methode an einer neuartigen und herausfordernden nicht-stationären Steuerungsaufgabe namens Cataclysmic Cartpole durch. Die Ergebnisse bestätigen unsere Erkenntnisse, dass ARZ deutlich robuster gegenüber plötzlichen Umweltveränderungen ist und einfache, interpretierbare Steuerungsstrategien entwickeln kann.

English

Autonomous robots deployed in the real world will need control policies that rapidly adapt to environmental changes. To this end, we propose AutoRobotics-Zero (ARZ), a method based on AutoML-Zero that discovers zero-shot adaptable policies from scratch. In contrast to neural network adaption policies, where only model parameters are optimized, ARZ can build control algorithms with the full expressive power of a linear register machine. We evolve modular policies that tune their model parameters and alter their inference algorithm on-the-fly to adapt to sudden environmental changes. We demonstrate our method on a realistic simulated quadruped robot, for which we evolve safe control policies that avoid falling when individual limbs suddenly break. This is a challenging task in which two popular neural network baselines fail. Finally, we conduct a detailed analysis of our method on a novel and challenging non-stationary control task dubbed Cataclysmic Cartpole. Results confirm our findings that ARZ is significantly more robust to sudden environmental changes and can build simple, interpretable control policies.