Modelgebaseerde Regeling met Sparse Neurale Dynamica

Model-Based Control with Sparse Neural Dynamics

December 20, 2023

Auteurs: Ziang Liu, Genggeng Zhou, Jeff He, Tobia Marcucci, Li Fei-Fei, Jiajun Wu, Yunzhu Li

cs.AI

Samenvatting

Het leren van voorspellende modellen uit observaties met behulp van diepe neurale netwerken (DNN's) is een veelbelovende nieuwe aanpak voor veel real-world plannings- en controleproblemen. Echter, gangbare DNN's zijn te ongestructureerd voor effectieve planning, en huidige controlemethoden vertrouwen doorgaans op uitgebreide steekproeven of lokale gradiëntdaling. In dit artikel stellen we een nieuw raamwerk voor voor geïntegreerd model leren en voorspellende controle dat geschikt is voor efficiënte optimalisatie-algoritmen. Specifiek beginnen we met een ReLU-neuraal model van de systeemdynamica en, met minimale verliezen in voorspellingsnauwkeurigheid, sparsifiëren we het geleidelijk door overbodige neuronen te verwijderen. Dit discrete sparsificatieproces wordt benaderd als een continu probleem, waardoor een end-to-end optimalisatie van zowel de modelarchitectuur als de gewichtsparameters mogelijk wordt. Het gesparsificeerde model wordt vervolgens gebruikt door een mixed-integer voorspellende controller, die de neuronactivaties representeert als binaire variabelen en efficiënte branch-and-bound algoritmen toepast. Ons raamwerk is toepasbaar op een breed scala aan DNN's, van eenvoudige meerlaagse perceptrons tot complexe grafische neurale dynamica. Het kan efficiënt omgaan met taken die ingewikkelde contactdynamica omvatten, zoals het duwen van objecten, het sorteren van samengestelde objecten en het manipuleren van vervormbare objecten. Numerieke en hardware-experimenten tonen aan dat, ondanks de agressieve sparsificatie, ons raamwerk betere gesloten-lus prestaties kan leveren dan bestaande state-of-the-art methoden.

English

Learning predictive models from observations using deep neural networks (DNNs) is a promising new approach to many real-world planning and control problems. However, common DNNs are too unstructured for effective planning, and current control methods typically rely on extensive sampling or local gradient descent. In this paper, we propose a new framework for integrated model learning and predictive control that is amenable to efficient optimization algorithms. Specifically, we start with a ReLU neural model of the system dynamics and, with minimal losses in prediction accuracy, we gradually sparsify it by removing redundant neurons. This discrete sparsification process is approximated as a continuous problem, enabling an end-to-end optimization of both the model architecture and the weight parameters. The sparsified model is subsequently used by a mixed-integer predictive controller, which represents the neuron activations as binary variables and employs efficient branch-and-bound algorithms. Our framework is applicable to a wide variety of DNNs, from simple multilayer perceptrons to complex graph neural dynamics. It can efficiently handle tasks involving complicated contact dynamics, such as object pushing, compositional object sorting, and manipulation of deformable objects. Numerical and hardware experiments show that, despite the aggressive sparsification, our framework can deliver better closed-loop performance than existing state-of-the-art methods.