Modelli a Spazio di Stati Gerarchici per la Modellazione Continua Sequenza-a-Sequenza

Hierarchical State Space Models for Continuous Sequence-to-Sequence Modeling

February 15, 2024

Autori: Raunaq Bhirangi, Chenyu Wang, Venkatesh Pattabiraman, Carmel Majidi, Abhinav Gupta, Tess Hellebrekers, Lerrel Pinto

cs.AI

Abstract

Il ragionamento a partire da sequenze di dati sensoriali grezzi è un problema ubiquitario in campi che spaziano dai dispositivi medici alla robotica. Questi problemi spesso implicano l'uso di lunghe sequenze di dati grezzi provenienti da sensori (ad esempio, magnetometri, piezoresistori) per prevedere sequenze di quantità fisiche desiderabili (ad esempio, forza, misurazioni inerziali). Sebbene gli approcci classici siano potenti per problemi di previsione localmente lineari, spesso si rivelano insufficienti quando si utilizzano sensori del mondo reale. Questi sensori sono tipicamente non lineari, influenzati da variabili estranee (ad esempio, vibrazioni) e mostrano deriva dipendente dai dati. Per molti problemi, il compito di previsione è aggravato dalla presenza di piccoli dataset etichettati, poiché ottenere etichette di verità richiede attrezzature costose. In questo lavoro, presentiamo i Modelli a Spazio degli Stati Gerarchici (HiSS), una nuova tecnica concettualmente semplice per la previsione sequenziale continua. HiSS impila modelli a spazio degli stati strutturati uno sopra l'altro per creare una gerarchia temporale. Su sei dataset di sensori del mondo reale, dalla previsione dello stato basata su sensori tattili alle misurazioni inerziali basate su accelerometri, HiSS supera i modelli di sequenza all'avanguardia come i Transformer causali, le LSTMs, S4 e Mamba di almeno il 23% sull'MSE. I nostri esperimenti indicano inoltre che HiSS dimostra una scalabilità efficiente su dataset più piccoli ed è compatibile con le tecniche esistenti di filtraggio dei dati. Codice, dataset e video sono disponibili su https://hiss-csp.github.io.

English

Reasoning from sequences of raw sensory data is a ubiquitous problem across fields ranging from medical devices to robotics. These problems often involve using long sequences of raw sensor data (e.g. magnetometers, piezoresistors) to predict sequences of desirable physical quantities (e.g. force, inertial measurements). While classical approaches are powerful for locally-linear prediction problems, they often fall short when using real-world sensors. These sensors are typically non-linear, are affected by extraneous variables (e.g. vibration), and exhibit data-dependent drift. For many problems, the prediction task is exacerbated by small labeled datasets since obtaining ground-truth labels requires expensive equipment. In this work, we present Hierarchical State-Space Models (HiSS), a conceptually simple, new technique for continuous sequential prediction. HiSS stacks structured state-space models on top of each other to create a temporal hierarchy. Across six real-world sensor datasets, from tactile-based state prediction to accelerometer-based inertial measurement, HiSS outperforms state-of-the-art sequence models such as causal Transformers, LSTMs, S4, and Mamba by at least 23% on MSE. Our experiments further indicate that HiSS demonstrates efficient scaling to smaller datasets and is compatible with existing data-filtering techniques. Code, datasets and videos can be found on https://hiss-csp.github.io.