연속적인 시퀀스-투-시퀀스 모델링을 위한 계층적 상태 공간 모델

Hierarchical State Space Models for Continuous Sequence-to-Sequence Modeling

February 15, 2024

저자: Raunaq Bhirangi, Chenyu Wang, Venkatesh Pattabiraman, Carmel Majidi, Abhinav Gupta, Tess Hellebrekers, Lerrel Pinto

cs.AI

초록

원시 감각 데이터 시퀀스로부터 추론하는 것은 의료 기기부터 로봇공학에 이르기까지 다양한 분야에서 보편적으로 나타나는 문제이다. 이러한 문제들은 종종 원시 센서 데이터(예: 자기계, 압저항기)의 긴 시퀀스를 사용하여 원하는 물리량(예: 힘, 관성 측정)의 시퀀스를 예측하는 것을 포함한다. 고전적인 접근법은 국소적으로 선형적인 예측 문제에 강력하지만, 실제 센서를 사용할 때는 종종 한계를 보인다. 이러한 센서들은 일반적으로 비선형적이며, 외부 변수(예: 진동)의 영향을 받고, 데이터 의존적 드리프트를 보인다. 많은 문제에서, 예측 작업은 작은 레이블 데이터셋으로 인해 더욱 어려워지는데, 이는 실측 레이블을 얻기 위해 비용이 많이 드는 장비가 필요하기 때문이다. 본 연구에서는 연속적인 시퀀스 예측을 위한 개념적으로 간단한 새로운 기법인 계층적 상태-공간 모델(Hierarchical State-Space Models, HiSS)을 제안한다. HiSS는 구조화된 상태-공간 모델을 서로 쌓아 시간적 계층 구조를 생성한다. 촉각 기반 상태 예측부터 가속도계 기반 관성 측정에 이르는 여섯 가지 실제 센서 데이터셋에서 HiSS는 인과적 트랜스포머, LSTM, S4, Mamba와 같은 최첨단 시퀀스 모델을 MSE 기준으로 최소 23% 이상 능가한다. 우리의 실험은 또한 HiSS가 작은 데이터셋에 대해 효율적으로 확장 가능하며, 기존의 데이터 필터링 기술과 호환된다는 것을 보여준다. 코드, 데이터셋 및 비디오는 https://hiss-csp.github.io에서 확인할 수 있다.

English

Reasoning from sequences of raw sensory data is a ubiquitous problem across fields ranging from medical devices to robotics. These problems often involve using long sequences of raw sensor data (e.g. magnetometers, piezoresistors) to predict sequences of desirable physical quantities (e.g. force, inertial measurements). While classical approaches are powerful for locally-linear prediction problems, they often fall short when using real-world sensors. These sensors are typically non-linear, are affected by extraneous variables (e.g. vibration), and exhibit data-dependent drift. For many problems, the prediction task is exacerbated by small labeled datasets since obtaining ground-truth labels requires expensive equipment. In this work, we present Hierarchical State-Space Models (HiSS), a conceptually simple, new technique for continuous sequential prediction. HiSS stacks structured state-space models on top of each other to create a temporal hierarchy. Across six real-world sensor datasets, from tactile-based state prediction to accelerometer-based inertial measurement, HiSS outperforms state-of-the-art sequence models such as causal Transformers, LSTMs, S4, and Mamba by at least 23% on MSE. Our experiments further indicate that HiSS demonstrates efficient scaling to smaller datasets and is compatible with existing data-filtering techniques. Code, datasets and videos can be found on https://hiss-csp.github.io.