Controllo Basato su Modelli con Dinamiche Neurali Sparse

Model-Based Control with Sparse Neural Dynamics

December 20, 2023

Autori: Ziang Liu, Genggeng Zhou, Jeff He, Tobia Marcucci, Li Fei-Fei, Jiajun Wu, Yunzhu Li

cs.AI

Abstract

L'apprendimento di modelli predittivi dalle osservazioni utilizzando reti neurali profonde (DNN) rappresenta un approccio promettente per molti problemi di pianificazione e controllo nel mondo reale. Tuttavia, le DNN comuni sono troppo poco strutturate per una pianificazione efficace, e i metodi di controllo attuali si basano tipicamente su un campionamento estensivo o sulla discesa del gradiente locale. In questo articolo, proponiamo un nuovo framework per l'apprendimento integrato del modello e il controllo predittivo che si presta a algoritmi di ottimizzazione efficienti. Nello specifico, partiamo da un modello neurale ReLU della dinamica del sistema e, con perdite minime in termini di accuratezza predittiva, lo sparsifichiamo gradualmente rimuovendo i neuroni ridondanti. Questo processo di sparsificazione discreta viene approssimato come un problema continuo, consentendo un'ottimizzazione end-to-end sia dell'architettura del modello che dei parametri dei pesi. Il modello sparsificato viene successivamente utilizzato da un controllore predittivo a variabili miste intere, che rappresenta le attivazioni dei neuroni come variabili binarie e impiega efficienti algoritmi branch-and-bound. Il nostro framework è applicabile a una vasta gamma di DNN, dai semplici perceptron multistrato alle complesse dinamiche delle reti neurali su grafi. Può gestire in modo efficiente compiti che coinvolgono dinamiche di contatto complesse, come la spinta di oggetti, l'ordinamento composizionale di oggetti e la manipolazione di oggetti deformabili. Esperimenti numerici e hardware dimostrano che, nonostante l'aggressiva sparsificazione, il nostro framework può fornire prestazioni in ciclo chiuso migliori rispetto ai metodi all'avanguardia esistenti.

English

Learning predictive models from observations using deep neural networks (DNNs) is a promising new approach to many real-world planning and control problems. However, common DNNs are too unstructured for effective planning, and current control methods typically rely on extensive sampling or local gradient descent. In this paper, we propose a new framework for integrated model learning and predictive control that is amenable to efficient optimization algorithms. Specifically, we start with a ReLU neural model of the system dynamics and, with minimal losses in prediction accuracy, we gradually sparsify it by removing redundant neurons. This discrete sparsification process is approximated as a continuous problem, enabling an end-to-end optimization of both the model architecture and the weight parameters. The sparsified model is subsequently used by a mixed-integer predictive controller, which represents the neuron activations as binary variables and employs efficient branch-and-bound algorithms. Our framework is applicable to a wide variety of DNNs, from simple multilayer perceptrons to complex graph neural dynamics. It can efficiently handle tasks involving complicated contact dynamics, such as object pushing, compositional object sorting, and manipulation of deformable objects. Numerical and hardware experiments show that, despite the aggressive sparsification, our framework can deliver better closed-loop performance than existing state-of-the-art methods.