MONSTER: Repository Monash per la Valutazione Scalabile di Serie Temporali

MONSTER: Monash Scalable Time Series Evaluation Repository

February 21, 2025

Autori: Angus Dempster, Navid Mohammadi Foumani, Chang Wei Tan, Lynn Miller, Amish Mishra, Mahsa Salehi, Charlotte Pelletier, Daniel F. Schmidt, Geoffrey I. Webb

cs.AI

Abstract

Presentiamo MONSTER - il MONash Scalable Time Series Evaluation Repository - una raccolta di grandi dataset per la classificazione di serie temporali. Il campo della classificazione di serie temporali ha tratto beneficio dai benchmark comuni stabiliti dai repository di classificazione di serie temporali UCR e UEA. Tuttavia, i dataset in questi benchmark sono di piccole dimensioni, con dimensioni mediane rispettivamente di 217 e 255 esempi. Di conseguenza, favoriscono un sottospazio ristretto di modelli ottimizzati per ottenere un basso errore di classificazione su una vasta gamma di dataset più piccoli, ovvero modelli che minimizzano la varianza e danno poca importanza a questioni computazionali come la scalabilità. La nostra speranza è di diversificare il campo introducendo benchmark che utilizzano dataset più grandi. Crediamo che ci sia un enorme potenziale per nuovi progressi nel campo affrontando le sfide teoriche e pratiche dell'apprendimento efficace da quantità maggiori di dati.

English

We introduce MONSTER-the MONash Scalable Time Series Evaluation Repository-a collection of large datasets for time series classification. The field of time series classification has benefitted from common benchmarks set by the UCR and UEA time series classification repositories. However, the datasets in these benchmarks are small, with median sizes of 217 and 255 examples, respectively. In consequence they favour a narrow subspace of models that are optimised to achieve low classification error on a wide variety of smaller datasets, that is, models that minimise variance, and give little weight to computational issues such as scalability. Our hope is to diversify the field by introducing benchmarks using larger datasets. We believe that there is enormous potential for new progress in the field by engaging with the theoretical and practical challenges of learning effectively from larger quantities of data.