スパースニューラルダイナミクスを用いたモデルベース制御

Model-Based Control with Sparse Neural Dynamics

December 20, 2023

著者: Ziang Liu, Genggeng Zhou, Jeff He, Tobia Marcucci, Li Fei-Fei, Jiajun Wu, Yunzhu Li

cs.AI

要旨

深層ニューラルネットワーク（DNN）を用いて観測データから予測モデルを学習することは、多くの現実世界の計画および制御問題に対する有望な新たなアプローチです。しかし、一般的なDNNは効果的な計画のためには構造化されすぎておらず、現在の制御手法は通常、広範なサンプリングや局所的な勾配降下法に依存しています。本論文では、効率的な最適化アルゴリズムに適した統合的なモデル学習と予測制御のための新しいフレームワークを提案します。具体的には、システムダイナミクスのReLUニューラルモデルから始め、予測精度の最小限の損失で、冗長なニューロンを削除することで徐々にスパース化します。この離散的なスパース化プロセスを連続問題として近似し、モデルアーキテクチャと重みパラメータの両方をエンドツーエンドで最適化できるようにします。スパース化されたモデルは、ニューロンの活性化をバイナリ変数として表現し、効率的な分枝限定法を採用する混合整数予測制御器によって使用されます。私たちのフレームワークは、単純な多層パーセプトロンから複雑なグラフニューラルダイナミクスまで、さまざまなDNNに適用可能です。物体の押し出し、構成物の分類、変形可能な物体の操作など、複雑な接触ダイナミクスを伴うタスクを効率的に処理できます。数値実験およびハードウェア実験により、積極的なスパース化にもかかわらず、私たちのフレームワークが既存の最先端手法よりも優れた閉ループ性能を発揮できることが示されています。

English

Learning predictive models from observations using deep neural networks (DNNs) is a promising new approach to many real-world planning and control problems. However, common DNNs are too unstructured for effective planning, and current control methods typically rely on extensive sampling or local gradient descent. In this paper, we propose a new framework for integrated model learning and predictive control that is amenable to efficient optimization algorithms. Specifically, we start with a ReLU neural model of the system dynamics and, with minimal losses in prediction accuracy, we gradually sparsify it by removing redundant neurons. This discrete sparsification process is approximated as a continuous problem, enabling an end-to-end optimization of both the model architecture and the weight parameters. The sparsified model is subsequently used by a mixed-integer predictive controller, which represents the neuron activations as binary variables and employs efficient branch-and-bound algorithms. Our framework is applicable to a wide variety of DNNs, from simple multilayer perceptrons to complex graph neural dynamics. It can efficiently handle tasks involving complicated contact dynamics, such as object pushing, compositional object sorting, and manipulation of deformable objects. Numerical and hardware experiments show that, despite the aggressive sparsification, our framework can deliver better closed-loop performance than existing state-of-the-art methods.