Hiërarchische State Space-modellen voor continue sequentie-naar-sequentie modellering

Hierarchical State Space Models for Continuous Sequence-to-Sequence Modeling

February 15, 2024

Auteurs: Raunaq Bhirangi, Chenyu Wang, Venkatesh Pattabiraman, Carmel Majidi, Abhinav Gupta, Tess Hellebrekers, Lerrel Pinto

cs.AI

Samenvatting

Redeneren op basis van sequenties van ruwe sensorische gegevens is een alomtegenwoordig probleem in verschillende vakgebieden, variërend van medische apparaten tot robotica. Deze problemen houden vaak in dat lange sequenties van ruwe sensordata (bijv. magnetometers, piëzoweerstanden) worden gebruikt om sequenties van gewenste fysische grootheden (bijv. kracht, traagheidsmetingen) te voorspellen. Hoewel klassieke benaderingen krachtig zijn voor lokaal-lineaire voorspellingsproblemen, schieten ze vaak tekort bij het gebruik van real-world sensoren. Deze sensoren zijn typisch niet-lineair, worden beïnvloed door externe variabelen (bijv. trillingen) en vertonen data-afhankelijke drift. Voor veel problemen wordt de voorspellingstaak bemoeilijkt door kleine gelabelde datasets, aangezien het verkrijgen van grondwaarheidlabels dure apparatuur vereist. In dit werk presenteren we Hiërarchische State-Space Modellen (HiSS), een conceptueel eenvoudige, nieuwe techniek voor continue sequentiële voorspelling. HiSS stapelt gestructureerde state-space modellen op elkaar om een temporele hiërarchie te creëren. Over zes real-world sensordatasets, van tactiele staatspredictie tot traagheidsmetingen op basis van versnellingsmeters, presteert HiSS minstens 23% beter op MSE dan state-of-the-art sequentiemodellen zoals causale Transformers, LSTMs, S4 en Mamba. Onze experimenten geven verder aan dat HiSS efficiënt schaalt naar kleinere datasets en compatibel is met bestaande datafiltertechnieken. Code, datasets en video's zijn te vinden op https://hiss-csp.github.io.

English

Reasoning from sequences of raw sensory data is a ubiquitous problem across fields ranging from medical devices to robotics. These problems often involve using long sequences of raw sensor data (e.g. magnetometers, piezoresistors) to predict sequences of desirable physical quantities (e.g. force, inertial measurements). While classical approaches are powerful for locally-linear prediction problems, they often fall short when using real-world sensors. These sensors are typically non-linear, are affected by extraneous variables (e.g. vibration), and exhibit data-dependent drift. For many problems, the prediction task is exacerbated by small labeled datasets since obtaining ground-truth labels requires expensive equipment. In this work, we present Hierarchical State-Space Models (HiSS), a conceptually simple, new technique for continuous sequential prediction. HiSS stacks structured state-space models on top of each other to create a temporal hierarchy. Across six real-world sensor datasets, from tactile-based state prediction to accelerometer-based inertial measurement, HiSS outperforms state-of-the-art sequence models such as causal Transformers, LSTMs, S4, and Mamba by at least 23% on MSE. Our experiments further indicate that HiSS demonstrates efficient scaling to smaller datasets and is compatible with existing data-filtering techniques. Code, datasets and videos can be found on https://hiss-csp.github.io.