Découvrir des algorithmes symboliques adaptables à partir de zéro

Discovering Adaptable Symbolic Algorithms from Scratch

July 31, 2023

Auteurs: Stephen Kelly, Daniel S. Park, Xingyou Song, Mitchell McIntire, Pranav Nashikkar, Ritam Guha, Wolfgang Banzhaf, Kalyanmoy Deb, Vishnu Naresh Boddeti, Jie Tan, Esteban Real

cs.AI

Résumé

Les robots autonomes déployés dans le monde réel auront besoin de politiques de contrôle capables de s'adapter rapidement aux changements environnementaux. À cette fin, nous proposons AutoRobotics-Zero (ARZ), une méthode basée sur AutoML-Zero qui découvre des politiques adaptables en zero-shot à partir de zéro. Contrairement aux politiques d'adaptation basées sur les réseaux de neurones, où seuls les paramètres du modèle sont optimisés, ARZ peut construire des algorithmes de contrôle avec toute la puissance expressive d'une machine à registres linéaires. Nous faisons évoluer des politiques modulaires qui ajustent leurs paramètres de modèle et modifient leur algorithme d'inférence à la volée pour s'adapter aux changements environnementaux soudains. Nous démontrons notre méthode sur un robot quadrupède simulé réaliste, pour lequel nous faisons évoluer des politiques de contrôle sûres qui évitent les chutes lorsque des membres individuels se brisent soudainement. Il s'agit d'une tâche difficile dans laquelle deux modèles de référence populaires basés sur les réseaux de neurones échouent. Enfin, nous menons une analyse détaillée de notre méthode sur une nouvelle tâche de contrôle non stationnaire et difficile appelée Cataclysmic Cartpole. Les résultats confirment nos conclusions qu'ARZ est significativement plus robuste aux changements environnementaux soudains et peut construire des politiques de contrôle simples et interprétables.

English

Autonomous robots deployed in the real world will need control policies that rapidly adapt to environmental changes. To this end, we propose AutoRobotics-Zero (ARZ), a method based on AutoML-Zero that discovers zero-shot adaptable policies from scratch. In contrast to neural network adaption policies, where only model parameters are optimized, ARZ can build control algorithms with the full expressive power of a linear register machine. We evolve modular policies that tune their model parameters and alter their inference algorithm on-the-fly to adapt to sudden environmental changes. We demonstrate our method on a realistic simulated quadruped robot, for which we evolve safe control policies that avoid falling when individual limbs suddenly break. This is a challenging task in which two popular neural network baselines fail. Finally, we conduct a detailed analysis of our method on a novel and challenging non-stationary control task dubbed Cataclysmic Cartpole. Results confirm our findings that ARZ is significantly more robust to sudden environmental changes and can build simple, interpretable control policies.