連続的なシーケンス間モデリングのための階層的状態空間モデル

Hierarchical State Space Models for Continuous Sequence-to-Sequence Modeling

February 15, 2024

著者: Raunaq Bhirangi, Chenyu Wang, Venkatesh Pattabiraman, Carmel Majidi, Abhinav Gupta, Tess Hellebrekers, Lerrel Pinto

cs.AI

要旨

生の感覚データのシーケンスから推論を行うことは、医療機器からロボティクスに至るまで、様々な分野で普遍的な問題です。これらの問題は、多くの場合、生のセンサーデータ（例えば、磁力計、圧力抵抗器）の長いシーケンスを使用して、望ましい物理量（例えば、力、慣性測定）のシーケンスを予測することを含みます。古典的なアプローチは、局所的に線形な予測問題に対して強力ですが、現実世界のセンサーを使用する場合にはしばしば不十分です。これらのセンサーは通常非線形であり、外部変数（例えば、振動）の影響を受け、データ依存のドリフトを示します。多くの問題において、予測タスクは、ラベル付きデータセットが小さいためにさらに困難になります。なぜなら、グラウンドトゥルースラベルを取得するには高価な機器が必要だからです。本研究では、連続的なシーケンシャル予測のための概念的にはシンプルで新しい技術である階層的状態空間モデル（HiSS）を紹介します。HiSSは、構造化された状態空間モデルを互いに積み重ねて時間的階層を作成します。触覚ベースの状態予測から加速度計ベースの慣性測定まで、6つの現実世界のセンサーデータセットにおいて、HiSSは因果的Transformer、LSTM、S4、Mambaなどの最先端のシーケンスモデルをMSEで少なくとも23%上回りました。私たちの実験はさらに、HiSSが小さいデータセットへの効率的なスケーリングを示し、既存のデータフィルタリング技術と互換性があることを示しています。コード、データセット、ビデオはhttps://hiss-csp.github.ioで見つけることができます。

English

Reasoning from sequences of raw sensory data is a ubiquitous problem across fields ranging from medical devices to robotics. These problems often involve using long sequences of raw sensor data (e.g. magnetometers, piezoresistors) to predict sequences of desirable physical quantities (e.g. force, inertial measurements). While classical approaches are powerful for locally-linear prediction problems, they often fall short when using real-world sensors. These sensors are typically non-linear, are affected by extraneous variables (e.g. vibration), and exhibit data-dependent drift. For many problems, the prediction task is exacerbated by small labeled datasets since obtaining ground-truth labels requires expensive equipment. In this work, we present Hierarchical State-Space Models (HiSS), a conceptually simple, new technique for continuous sequential prediction. HiSS stacks structured state-space models on top of each other to create a temporal hierarchy. Across six real-world sensor datasets, from tactile-based state prediction to accelerometer-based inertial measurement, HiSS outperforms state-of-the-art sequence models such as causal Transformers, LSTMs, S4, and Mamba by at least 23% on MSE. Our experiments further indicate that HiSS demonstrates efficient scaling to smaller datasets and is compatible with existing data-filtering techniques. Code, datasets and videos can be found on https://hiss-csp.github.io.