처음부터 적응 가능한 심볼릭 알고리즘 발견하기

초록

실제 환경에 배치된 자율 로봇은 환경 변화에 빠르게 적응할 수 있는 제어 정책이 필요합니다. 이를 위해 우리는 AutoML-Zero를 기반으로 한 AutoRobotics-Zero(ARZ) 방법을 제안합니다. 이 방법은 제로샷 적응 가능한 정책을 처음부터 발견합니다. 신경망 적응 정책이 모델 파라미터만 최적화하는 반면, ARZ는 선형 레지스터 머신의 완전한 표현력을 가진 제어 알고리즘을 구축할 수 있습니다. 우리는 모델 파라미터를 조정하고 추론 알고리즘을 실시간으로 변경하여 갑작스러운 환경 변화에 적응하는 모듈식 정책을 진화시킵니다. 우리는 이 방법을 현실적인 시뮬레이션 환경의 사족 보행 로봇에 적용하여, 개별 다리가 갑자기 고장 나도 넘어지지 않는 안전한 제어 정책을 진화시켰습니다. 이는 두 가지 인기 있는 신경망 기반 방법이 실패하는 어려운 과제입니다. 마지막으로, 우리는 'Cataclysmic Cartpole'이라는 새롭고 도전적인 비정상 제어 과제에 대해 우리의 방법을 상세히 분석했습니다. 결과는 ARZ가 갑작스러운 환경 변화에 훨씬 더 강건하며 단순하고 해석 가능한 제어 정책을 구축할 수 있다는 우리의 발견을 확인시켜 줍니다.

English

Autonomous robots deployed in the real world will need control policies that rapidly adapt to environmental changes. To this end, we propose AutoRobotics-Zero (ARZ), a method based on AutoML-Zero that discovers zero-shot adaptable policies from scratch. In contrast to neural network adaption policies, where only model parameters are optimized, ARZ can build control algorithms with the full expressive power of a linear register machine. We evolve modular policies that tune their model parameters and alter their inference algorithm on-the-fly to adapt to sudden environmental changes. We demonstrate our method on a realistic simulated quadruped robot, for which we evolve safe control policies that avoid falling when individual limbs suddenly break. This is a challenging task in which two popular neural network baselines fail. Finally, we conduct a detailed analysis of our method on a novel and challenging non-stationary control task dubbed Cataclysmic Cartpole. Results confirm our findings that ARZ is significantly more robust to sudden environmental changes and can build simple, interpretable control policies.

처음부터 적응 가능한 심볼릭 알고리즘 발견하기

Discovering Adaptable Symbolic Algorithms from Scratch

초록

Support