MONSTER: Monash Schaalbaar Tijdreeks Evaluatie Repository

MONSTER: Monash Scalable Time Series Evaluation Repository

February 21, 2025

Auteurs: Angus Dempster, Navid Mohammadi Foumani, Chang Wei Tan, Lynn Miller, Amish Mishra, Mahsa Salehi, Charlotte Pelletier, Daniel F. Schmidt, Geoffrey I. Webb

cs.AI

Samenvatting

We introduceren MONSTER—het MONash Scalable Time Series Evaluation Repository—een verzameling van grote datasets voor tijdreeksclassificatie. Het vakgebied van tijdreeksclassificatie heeft geprofiteerd van gemeenschappelijke benchmarks die zijn vastgesteld door de UCR- en UEA-tijdreeksclassificatierepositories. De datasets in deze benchmarks zijn echter klein, met mediane groottes van respectievelijk 217 en 255 voorbeelden. Als gevolg daarvan bevorderen ze een beperkte subset van modellen die zijn geoptimaliseerd om een lage classificatiefout te behalen op een breed scala aan kleinere datasets, dat wil zeggen modellen die de variantie minimaliseren en weinig aandacht besteden aan computationele aspecten zoals schaalbaarheid. Onze hoop is om het veld te diversifiëren door benchmarks te introduceren met behulp van grotere datasets. Wij geloven dat er enorm veel potentieel is voor nieuwe vooruitgang in het veld door de theoretische en praktische uitdagingen aan te gaan die gepaard gaan met het effectief leren van grotere hoeveelheden data.

English

We introduce MONSTER-the MONash Scalable Time Series Evaluation Repository-a collection of large datasets for time series classification. The field of time series classification has benefitted from common benchmarks set by the UCR and UEA time series classification repositories. However, the datasets in these benchmarks are small, with median sizes of 217 and 255 examples, respectively. In consequence they favour a narrow subspace of models that are optimised to achieve low classification error on a wide variety of smaller datasets, that is, models that minimise variance, and give little weight to computational issues such as scalability. Our hope is to diversify the field by introducing benchmarks using larger datasets. We believe that there is enormous potential for new progress in the field by engaging with the theoretical and practical challenges of learning effectively from larger quantities of data.