Иерархические модели пространства состояний для непрерывного последовательностного моделирования

Hierarchical State Space Models for Continuous Sequence-to-Sequence Modeling

February 15, 2024

Авторы: Raunaq Bhirangi, Chenyu Wang, Venkatesh Pattabiraman, Carmel Majidi, Abhinav Gupta, Tess Hellebrekers, Lerrel Pinto

cs.AI

Аннотация

Рассуждение на основе последовательностей необработанных сенсорных данных является повсеместной проблемой в различных областях, от медицинских устройств до робототехники. Эти задачи часто связаны с использованием длинных последовательностей необработанных данных с датчиков (например, магнитометров, пьезорезисторов) для прогнозирования последовательностей желаемых физических величин (например, силы, инерционных измерений). Хотя классические подходы эффективны для локально-линейных задач прогнозирования, они часто оказываются недостаточными при работе с реальными датчиками. Эти датчики обычно нелинейны, подвержены влиянию внешних переменных (например, вибрации) и демонстрируют зависящий от данных дрейф. Для многих задач прогнозирование усложняется из-за небольших размеченных наборов данных, поскольку получение эталонных меток требует дорогостоящего оборудования. В данной работе мы представляем Иерархические модели пространства состояний (HiSS) — концептуально простой новый метод для непрерывного последовательного прогнозирования. HiSS объединяет структурированные модели пространства состояний в иерархию временных уровней. На шести наборах данных реальных датчиков, от прогнозирования состояния на основе тактильных данных до инерционных измерений на основе акселерометров, HiSS превосходит современные модели последовательностей, такие как каузальные трансформеры, LSTM, S4 и Mamba, по меньшей мере на 23% по среднеквадратичной ошибке (MSE). Наши эксперименты также показывают, что HiSS эффективно масштабируется на небольшие наборы данных и совместим с существующими методами фильтрации данных. Код, наборы данных и видео доступны на https://hiss-csp.github.io.

English

Reasoning from sequences of raw sensory data is a ubiquitous problem across fields ranging from medical devices to robotics. These problems often involve using long sequences of raw sensor data (e.g. magnetometers, piezoresistors) to predict sequences of desirable physical quantities (e.g. force, inertial measurements). While classical approaches are powerful for locally-linear prediction problems, they often fall short when using real-world sensors. These sensors are typically non-linear, are affected by extraneous variables (e.g. vibration), and exhibit data-dependent drift. For many problems, the prediction task is exacerbated by small labeled datasets since obtaining ground-truth labels requires expensive equipment. In this work, we present Hierarchical State-Space Models (HiSS), a conceptually simple, new technique for continuous sequential prediction. HiSS stacks structured state-space models on top of each other to create a temporal hierarchy. Across six real-world sensor datasets, from tactile-based state prediction to accelerometer-based inertial measurement, HiSS outperforms state-of-the-art sequence models such as causal Transformers, LSTMs, S4, and Mamba by at least 23% on MSE. Our experiments further indicate that HiSS demonstrates efficient scaling to smaller datasets and is compatible with existing data-filtering techniques. Code, datasets and videos can be found on https://hiss-csp.github.io.