Descubriendo Algoritmos Simbólicos Adaptables desde Cero

Discovering Adaptable Symbolic Algorithms from Scratch

July 31, 2023

Autores: Stephen Kelly, Daniel S. Park, Xingyou Song, Mitchell McIntire, Pranav Nashikkar, Ritam Guha, Wolfgang Banzhaf, Kalyanmoy Deb, Vishnu Naresh Boddeti, Jie Tan, Esteban Real

cs.AI

Resumen

Los robots autónomos desplegados en el mundo real necesitarán políticas de control que se adapten rápidamente a los cambios ambientales. Con este fin, proponemos AutoRobotics-Zero (ARZ), un método basado en AutoML-Zero que descubre políticas adaptables de cero-shot desde cero. A diferencia de las políticas de adaptación de redes neuronales, donde solo se optimizan los parámetros del modelo, ARZ puede construir algoritmos de control con todo el poder expresivo de una máquina de registros lineales. Evolucionamos políticas modulares que ajustan sus parámetros del modelo y alteran su algoritmo de inferencia sobre la marcha para adaptarse a cambios ambientales repentinos. Demostramos nuestro método en un robot cuadrúpedo simulado realista, para el cual evolucionamos políticas de control seguras que evitan caídas cuando las extremidades individuales se rompen repentinamente. Esta es una tarea desafiante en la que dos líneas de base populares de redes neuronales fallan. Finalmente, realizamos un análisis detallado de nuestro método en una nueva y desafiante tarea de control no estacionario denominada Cataclysmic Cartpole. Los resultados confirman nuestros hallazgos de que ARZ es significativamente más robusto ante cambios ambientales repentinos y puede construir políticas de control simples e interpretables.

English

Autonomous robots deployed in the real world will need control policies that rapidly adapt to environmental changes. To this end, we propose AutoRobotics-Zero (ARZ), a method based on AutoML-Zero that discovers zero-shot adaptable policies from scratch. In contrast to neural network adaption policies, where only model parameters are optimized, ARZ can build control algorithms with the full expressive power of a linear register machine. We evolve modular policies that tune their model parameters and alter their inference algorithm on-the-fly to adapt to sudden environmental changes. We demonstrate our method on a realistic simulated quadruped robot, for which we evolve safe control policies that avoid falling when individual limbs suddenly break. This is a challenging task in which two popular neural network baselines fail. Finally, we conduct a detailed analysis of our method on a novel and challenging non-stationary control task dubbed Cataclysmic Cartpole. Results confirm our findings that ARZ is significantly more robust to sudden environmental changes and can build simple, interpretable control policies.