Control Basado en Modelos con Dinámicas Neuronales Escasas

Model-Based Control with Sparse Neural Dynamics

December 20, 2023

Autores: Ziang Liu, Genggeng Zhou, Jeff He, Tobia Marcucci, Li Fei-Fei, Jiajun Wu, Yunzhu Li

cs.AI

Resumen

El aprendizaje de modelos predictivos a partir de observaciones utilizando redes neuronales profundas (DNNs) es un enfoque prometedor para muchos problemas de planificación y control en el mundo real. Sin embargo, las DNNs comunes carecen de estructura suficiente para una planificación efectiva, y los métodos de control actuales suelen depender de un muestreo extensivo o del descenso de gradiente local. En este artículo, proponemos un nuevo marco para el aprendizaje integrado de modelos y el control predictivo que es compatible con algoritmos de optimización eficientes. Específicamente, comenzamos con un modelo neuronal ReLU de la dinámica del sistema y, con pérdidas mínimas en la precisión de predicción, lo esparcificamos gradualmente eliminando neuronas redundantes. Este proceso de esparcificación discreta se aproxima como un problema continuo, permitiendo una optimización de extremo a extremo tanto de la arquitectura del modelo como de los parámetros de peso. El modelo esparcificado se utiliza posteriormente por un controlador predictivo de enteros mixtos, que representa las activaciones de las neuronas como variables binarias y emplea algoritmos eficientes de ramificación y acotación. Nuestro marco es aplicable a una amplia variedad de DNNs, desde perceptrones multicapa simples hasta dinámicas neuronales gráficas complejas. Puede manejar eficientemente tareas que involucran dinámicas de contacto complicadas, como el empuje de objetos, la clasificación composicional de objetos y la manipulación de objetos deformables. Los experimentos numéricos y de hardware muestran que, a pesar de la esparcificación agresiva, nuestro marco puede ofrecer un mejor rendimiento en lazo cerrado que los métodos más avanzados existentes.

English

Learning predictive models from observations using deep neural networks (DNNs) is a promising new approach to many real-world planning and control problems. However, common DNNs are too unstructured for effective planning, and current control methods typically rely on extensive sampling or local gradient descent. In this paper, we propose a new framework for integrated model learning and predictive control that is amenable to efficient optimization algorithms. Specifically, we start with a ReLU neural model of the system dynamics and, with minimal losses in prediction accuracy, we gradually sparsify it by removing redundant neurons. This discrete sparsification process is approximated as a continuous problem, enabling an end-to-end optimization of both the model architecture and the weight parameters. The sparsified model is subsequently used by a mixed-integer predictive controller, which represents the neuron activations as binary variables and employs efficient branch-and-bound algorithms. Our framework is applicable to a wide variety of DNNs, from simple multilayer perceptrons to complex graph neural dynamics. It can efficiently handle tasks involving complicated contact dynamics, such as object pushing, compositional object sorting, and manipulation of deformable objects. Numerical and hardware experiments show that, despite the aggressive sparsification, our framework can deliver better closed-loop performance than existing state-of-the-art methods.