Modellbasierte Steuerung mit spärlicher neuronaler Dynamik

Model-Based Control with Sparse Neural Dynamics

December 20, 2023

Autoren: Ziang Liu, Genggeng Zhou, Jeff He, Tobia Marcucci, Li Fei-Fei, Jiajun Wu, Yunzhu Li

cs.AI

Zusammenfassung

Das Lernen prädiktiver Modelle aus Beobachtungen mithilfe tiefer neuronaler Netze (DNNs) ist ein vielversprechender neuer Ansatz für viele reale Planungs- und Steuerungsprobleme. Allerdings sind gängige DNNs zu unstrukturiert für eine effektive Planung, und aktuelle Steuerungsmethoden stützen sich typischerweise auf umfangreiche Stichproben oder lokalen Gradientenabstieg. In diesem Artikel schlagen wir ein neues Framework für integriertes Modelllernen und prädiktive Steuerung vor, das sich für effiziente Optimierungsalgorithmen eignet. Konkret beginnen wir mit einem ReLU-Neuronalmodell der Systemdynamik und sparsifizieren es schrittweise durch das Entfernen redundanter Neuronen, wobei die Vorhersagegenauigkeit nur minimal beeinträchtigt wird. Dieser diskrete Sparsifizierungsprozess wird als kontinuierliches Problem approximiert, was eine end-to-end-Optimierung sowohl der Modellarchitektur als auch der Gewichtsparameter ermöglicht. Das sparsifizierte Modell wird anschließend von einem gemischt-ganzzahligen prädiktiven Regler verwendet, der die Neuronaktivierungen als binäre Variablen darstellt und effiziente Branch-and-Bound-Algorithmen einsetzt. Unser Framework ist auf eine Vielzahl von DNNs anwendbar, von einfachen mehrschichtigen Perzeptronen bis hin zu komplexen graphbasierten neuronalen Dynamiken. Es kann Aufgaben mit komplizierten Kontaktdynamiken effizient bewältigen, wie beispielsweise das Schieben von Objekten, das sortieren von zusammengesetzten Objekten und die Manipulation von deformierbaren Objekten. Numerische und Hardware-Experimente zeigen, dass unser Framework trotz der aggressiven Sparsifizierung eine bessere Regelkreisperformance liefern kann als bestehende state-of-the-art Methoden.

English

Learning predictive models from observations using deep neural networks (DNNs) is a promising new approach to many real-world planning and control problems. However, common DNNs are too unstructured for effective planning, and current control methods typically rely on extensive sampling or local gradient descent. In this paper, we propose a new framework for integrated model learning and predictive control that is amenable to efficient optimization algorithms. Specifically, we start with a ReLU neural model of the system dynamics and, with minimal losses in prediction accuracy, we gradually sparsify it by removing redundant neurons. This discrete sparsification process is approximated as a continuous problem, enabling an end-to-end optimization of both the model architecture and the weight parameters. The sparsified model is subsequently used by a mixed-integer predictive controller, which represents the neuron activations as binary variables and employs efficient branch-and-bound algorithms. Our framework is applicable to a wide variety of DNNs, from simple multilayer perceptrons to complex graph neural dynamics. It can efficiently handle tasks involving complicated contact dynamics, such as object pushing, compositional object sorting, and manipulation of deformable objects. Numerical and hardware experiments show that, despite the aggressive sparsification, our framework can deliver better closed-loop performance than existing state-of-the-art methods.