Controle Baseado em Modelo com Dinâmica Neural Esparsa

Model-Based Control with Sparse Neural Dynamics

December 20, 2023

Autores: Ziang Liu, Genggeng Zhou, Jeff He, Tobia Marcucci, Li Fei-Fei, Jiajun Wu, Yunzhu Li

cs.AI

Resumo

Aprender modelos preditivos a partir de observações utilizando redes neurais profundas (DNNs) é uma abordagem promissora para muitos problemas de planejamento e controle no mundo real. No entanto, as DNNs comuns são pouco estruturadas para um planejamento eficaz, e os métodos de controle atuais geralmente dependem de amostragem extensiva ou de descida de gradiente local. Neste artigo, propomos uma nova estrutura para integração de aprendizado de modelo e controle preditivo que é adequada para algoritmos de otimização eficientes. Especificamente, começamos com um modelo neural ReLU da dinâmica do sistema e, com perdas mínimas na precisão da previsão, gradualmente o esparsificamos removendo neurônios redundantes. Esse processo de esparsificação discreta é aproximado como um problema contínuo, permitindo uma otimização de ponta a ponta tanto da arquitetura do modelo quanto dos parâmetros de peso. O modelo esparsificado é subsequentemente utilizado por um controlador preditivo de inteiros mistos, que representa as ativações dos neurônios como variáveis binárias e emprega algoritmos eficientes de branch-and-bound. Nossa estrutura é aplicável a uma ampla variedade de DNNs, desde perceptrons multicamadas simples até dinâmicas neurais gráficas complexas. Ela pode lidar eficientemente com tarefas envolvendo dinâmicas de contato complicadas, como empurrar objetos, classificação composicional de objetos e manipulação de objetos deformáveis. Experimentos numéricos e de hardware mostram que, apesar da esparsificação agressiva, nossa estrutura pode oferecer um desempenho em malha fechada superior aos métodos mais avançados existentes.

English

Learning predictive models from observations using deep neural networks (DNNs) is a promising new approach to many real-world planning and control problems. However, common DNNs are too unstructured for effective planning, and current control methods typically rely on extensive sampling or local gradient descent. In this paper, we propose a new framework for integrated model learning and predictive control that is amenable to efficient optimization algorithms. Specifically, we start with a ReLU neural model of the system dynamics and, with minimal losses in prediction accuracy, we gradually sparsify it by removing redundant neurons. This discrete sparsification process is approximated as a continuous problem, enabling an end-to-end optimization of both the model architecture and the weight parameters. The sparsified model is subsequently used by a mixed-integer predictive controller, which represents the neuron activations as binary variables and employs efficient branch-and-bound algorithms. Our framework is applicable to a wide variety of DNNs, from simple multilayer perceptrons to complex graph neural dynamics. It can efficiently handle tasks involving complicated contact dynamics, such as object pushing, compositional object sorting, and manipulation of deformable objects. Numerical and hardware experiments show that, despite the aggressive sparsification, our framework can deliver better closed-loop performance than existing state-of-the-art methods.