Hierarchische Zustandsraummodelle für kontinuierliche Sequenz-zu-Sequenz-Modellierung

Hierarchical State Space Models for Continuous Sequence-to-Sequence Modeling

February 15, 2024

Autoren: Raunaq Bhirangi, Chenyu Wang, Venkatesh Pattabiraman, Carmel Majidi, Abhinav Gupta, Tess Hellebrekers, Lerrel Pinto

cs.AI

Zusammenfassung

Das Schließen aus Sequenzen von Rohsensordaten ist ein allgegenwärtiges Problem in Bereichen, die von medizinischen Geräten bis hin zur Robotik reichen. Diese Probleme beinhalten oft die Verwendung langer Sequenzen von Rohsensordaten (z. B. Magnetometer, Piezowiderstände), um Sequenzen von gewünschten physikalischen Größen (z. B. Kraft, Trägheitsmessungen) vorherzusagen. Während klassische Ansätze für lokal lineare Vorhersageprobleme leistungsstark sind, versagen sie oft bei der Verwendung von realen Sensoren. Diese Sensoren sind typischerweise nichtlinear, werden durch externe Variablen (z. B. Vibration) beeinflusst und zeigen datenabhängige Drift auf. Bei vielen Problemen wird die Vorhersageaufgabe durch kleine annotierte Datensätze erschwert, da die Beschaffung von Ground-Truth-Labels teure Ausrüstung erfordert. In dieser Arbeit stellen wir Hierarchical State-Space Models (HiSS) vor, eine konzeptionell einfache, neue Technik für kontinuierliche sequenzielle Vorhersage. HiSS stapelt strukturierte Zustandsraummodelle übereinander, um eine temporale Hierarchie zu schaffen. Über sechs reale Sensordatensätze hinweg, von taktilbasierter Zustandsvorhersage bis hin zu beschleunigungsbasierter Trägheitsmessung, übertrifft HiSS state-of-the-art Sequenzmodelle wie kausale Transformer, LSTMs, S4 und Mamba um mindestens 23 % im MSE. Unsere Experimente zeigen weiterhin, dass HiSS eine effiziente Skalierung auf kleinere Datensätze demonstriert und mit bestehenden Datenfiltertechniken kompatibel ist. Code, Datensätze und Videos finden Sie auf https://hiss-csp.github.io.

English

Reasoning from sequences of raw sensory data is a ubiquitous problem across fields ranging from medical devices to robotics. These problems often involve using long sequences of raw sensor data (e.g. magnetometers, piezoresistors) to predict sequences of desirable physical quantities (e.g. force, inertial measurements). While classical approaches are powerful for locally-linear prediction problems, they often fall short when using real-world sensors. These sensors are typically non-linear, are affected by extraneous variables (e.g. vibration), and exhibit data-dependent drift. For many problems, the prediction task is exacerbated by small labeled datasets since obtaining ground-truth labels requires expensive equipment. In this work, we present Hierarchical State-Space Models (HiSS), a conceptually simple, new technique for continuous sequential prediction. HiSS stacks structured state-space models on top of each other to create a temporal hierarchy. Across six real-world sensor datasets, from tactile-based state prediction to accelerometer-based inertial measurement, HiSS outperforms state-of-the-art sequence models such as causal Transformers, LSTMs, S4, and Mamba by at least 23% on MSE. Our experiments further indicate that HiSS demonstrates efficient scaling to smaller datasets and is compatible with existing data-filtering techniques. Code, datasets and videos can be found on https://hiss-csp.github.io.