Модельное управление с использованием разреженной нейронной динамики

Model-Based Control with Sparse Neural Dynamics

December 20, 2023

Авторы: Ziang Liu, Genggeng Zhou, Jeff He, Tobia Marcucci, Li Fei-Fei, Jiajun Wu, Yunzhu Li

cs.AI

Аннотация

Обучение прогностических моделей на основе наблюдений с использованием глубоких нейронных сетей (ГНС) представляет собой перспективный подход для решения многих задач планирования и управления в реальных условиях. Однако стандартные ГНС обладают недостаточной структурой для эффективного планирования, а современные методы управления обычно полагаются на обширное сэмплирование или локальный градиентный спуск. В данной статье мы предлагаем новый фреймворк для интегрированного обучения модели и прогностического управления, который подходит для эффективных алгоритмов оптимизации. В частности, мы начинаем с ReLU-нейронной модели динамики системы и, с минимальными потерями в точности прогнозирования, постепенно упрощаем её, удаляя избыточные нейроны. Этот процесс дискретного упрощения аппроксимируется как непрерывная задача, что позволяет осуществлять сквозную оптимизацию как архитектуры модели, так и параметров весов. Упрощённая модель затем используется смешанно-целочисленным прогностическим контроллером, который представляет активации нейронов в виде бинарных переменных и применяет эффективные алгоритмы ветвей и границ. Наш фреймворк применим к широкому спектру ГНС, от простых многослойных перцептронов до сложных графовых нейронных динамик. Он способен эффективно решать задачи, связанные со сложной контактной динамикой, такие как толкание объектов, сортировка составных объектов и манипуляции с деформируемыми объектами. Численные и аппаратные эксперименты показывают, что, несмотря на агрессивное упрощение, наш фреймворк может обеспечивать лучшее замкнутое управление по сравнению с существующими передовыми методами.

English

Learning predictive models from observations using deep neural networks (DNNs) is a promising new approach to many real-world planning and control problems. However, common DNNs are too unstructured for effective planning, and current control methods typically rely on extensive sampling or local gradient descent. In this paper, we propose a new framework for integrated model learning and predictive control that is amenable to efficient optimization algorithms. Specifically, we start with a ReLU neural model of the system dynamics and, with minimal losses in prediction accuracy, we gradually sparsify it by removing redundant neurons. This discrete sparsification process is approximated as a continuous problem, enabling an end-to-end optimization of both the model architecture and the weight parameters. The sparsified model is subsequently used by a mixed-integer predictive controller, which represents the neuron activations as binary variables and employs efficient branch-and-bound algorithms. Our framework is applicable to a wide variety of DNNs, from simple multilayer perceptrons to complex graph neural dynamics. It can efficiently handle tasks involving complicated contact dynamics, such as object pushing, compositional object sorting, and manipulation of deformable objects. Numerical and hardware experiments show that, despite the aggressive sparsification, our framework can deliver better closed-loop performance than existing state-of-the-art methods.