Contrôle basé sur modèle avec dynamiques neuronales parcimonieuses

Model-Based Control with Sparse Neural Dynamics

December 20, 2023

Auteurs: Ziang Liu, Genggeng Zhou, Jeff He, Tobia Marcucci, Li Fei-Fei, Jiajun Wu, Yunzhu Li

cs.AI

Résumé

L'apprentissage de modèles prédictifs à partir d'observations en utilisant des réseaux de neurones profonds (DNN) représente une approche prometteuse pour de nombreux problèmes de planification et de contrôle dans le monde réel. Cependant, les DNN courants sont trop peu structurés pour une planification efficace, et les méthodes de contrôle actuelles reposent généralement sur un échantillonnage extensif ou une descente de gradient locale. Dans cet article, nous proposons un nouveau cadre pour l'apprentissage intégré de modèles et le contrôle prédictif, qui se prête à des algorithmes d'optimisation efficaces. Plus précisément, nous commençons avec un modèle neuronal ReLU des dynamiques du système et, avec des pertes minimales en précision de prédiction, nous le sparsifions progressivement en supprimant les neurones redondants. Ce processus discret de sparsification est approximé comme un problème continu, permettant une optimisation de bout en bout à la fois de l'architecture du modèle et des paramètres de poids. Le modèle sparsifié est ensuite utilisé par un contrôleur prédictif à variables mixtes, qui représente les activations des neurones comme des variables binaires et emploie des algorithmes efficaces de branchement et de bornage. Notre cadre est applicable à une grande variété de DNN, allant des perceptrons multicouches simples aux dynamiques complexes de réseaux de neurones graphiques. Il peut gérer efficacement des tâches impliquant des dynamiques de contact complexes, telles que le poussage d'objets, le tri d'objets compositionnels et la manipulation d'objets déformables. Les expériences numériques et matérielles montrent que, malgré la sparsification agressive, notre cadre peut offrir de meilleures performances en boucle fermée que les méthodes actuelles de pointe.

English

Learning predictive models from observations using deep neural networks (DNNs) is a promising new approach to many real-world planning and control problems. However, common DNNs are too unstructured for effective planning, and current control methods typically rely on extensive sampling or local gradient descent. In this paper, we propose a new framework for integrated model learning and predictive control that is amenable to efficient optimization algorithms. Specifically, we start with a ReLU neural model of the system dynamics and, with minimal losses in prediction accuracy, we gradually sparsify it by removing redundant neurons. This discrete sparsification process is approximated as a continuous problem, enabling an end-to-end optimization of both the model architecture and the weight parameters. The sparsified model is subsequently used by a mixed-integer predictive controller, which represents the neuron activations as binary variables and employs efficient branch-and-bound algorithms. Our framework is applicable to a wide variety of DNNs, from simple multilayer perceptrons to complex graph neural dynamics. It can efficiently handle tasks involving complicated contact dynamics, such as object pushing, compositional object sorting, and manipulation of deformable objects. Numerical and hardware experiments show that, despite the aggressive sparsification, our framework can deliver better closed-loop performance than existing state-of-the-art methods.