희소 신경 역학 기반 모델 제어
Model-Based Control with Sparse Neural Dynamics
December 20, 2023
저자: Ziang Liu, Genggeng Zhou, Jeff He, Tobia Marcucci, Li Fei-Fei, Jiajun Wu, Yunzhu Li
cs.AI
초록
딥 뉴럴 네트워크(DNN)를 사용하여 관측 데이터로부터 예측 모델을 학습하는 것은 다양한 실제 계획 및 제어 문제에 대한 유망한 새로운 접근 방식입니다. 그러나 일반적인 DNN은 효과적인 계획을 위해 너무 비구조적이며, 현재의 제어 방법들은 대부분 광범위한 샘플링이나 지역적 경사 하강법에 의존합니다. 본 논문에서는 효율적인 최적화 알고리즘에 적합한 통합 모델 학습 및 예측 제어를 위한 새로운 프레임워크를 제안합니다. 구체적으로, 시스템 역학에 대한 ReLU 신경망 모델로 시작하여 예측 정확도의 최소한의 손실을 유지하면서 중복 뉴런을 제거하여 점진적으로 희소화합니다. 이 이산 희소화 과정은 연속 문제로 근사화되어 모델 아키텍처와 가중치 매개변수의 종단 간 최적화를 가능하게 합니다. 희소화된 모델은 이후 혼합 정수 예측 제어기에 의해 사용되며, 이 제어기는 뉴런 활성화를 이진 변수로 표현하고 효율적인 분기 한정 알고리즘을 사용합니다. 우리의 프레임워크는 단순한 다층 퍼셉트론부터 복잡한 그래프 신경 역학에 이르기까지 다양한 DNN에 적용 가능합니다. 이 프레임워크는 물체 밀기, 구성적 물체 분류, 변형 가능한 물체 조작과 같은 복잡한 접촉 역학을 포함하는 작업을 효율적으로 처리할 수 있습니다. 수치 및 하드웨어 실험 결과, 공격적인 희소화에도 불구하고 우리의 프레임워크가 기존의 최신 방법들보다 더 나은 폐루프 성능을 제공할 수 있음을 보여줍니다.
English
Learning predictive models from observations using deep neural networks
(DNNs) is a promising new approach to many real-world planning and control
problems. However, common DNNs are too unstructured for effective planning, and
current control methods typically rely on extensive sampling or local gradient
descent. In this paper, we propose a new framework for integrated model
learning and predictive control that is amenable to efficient optimization
algorithms. Specifically, we start with a ReLU neural model of the system
dynamics and, with minimal losses in prediction accuracy, we gradually sparsify
it by removing redundant neurons. This discrete sparsification process is
approximated as a continuous problem, enabling an end-to-end optimization of
both the model architecture and the weight parameters. The sparsified model is
subsequently used by a mixed-integer predictive controller, which represents
the neuron activations as binary variables and employs efficient
branch-and-bound algorithms. Our framework is applicable to a wide variety of
DNNs, from simple multilayer perceptrons to complex graph neural dynamics. It
can efficiently handle tasks involving complicated contact dynamics, such as
object pushing, compositional object sorting, and manipulation of deformable
objects. Numerical and hardware experiments show that, despite the aggressive
sparsification, our framework can deliver better closed-loop performance than
existing state-of-the-art methods.