MONSTER: Repositório de Avaliação de Séries Temporais Escalável da Monash

MONSTER: Monash Scalable Time Series Evaluation Repository

February 21, 2025

Autores: Angus Dempster, Navid Mohammadi Foumani, Chang Wei Tan, Lynn Miller, Amish Mishra, Mahsa Salehi, Charlotte Pelletier, Daniel F. Schmidt, Geoffrey I. Webb

cs.AI

Resumo

Apresentamos o MONSTER - o Repositório de Avaliação de Séries Temporais Escalável da MONash - uma coleção de grandes conjuntos de dados para classificação de séries temporais. O campo de classificação de séries temporais tem se beneficiado de benchmarks comuns estabelecidos pelos repositórios de classificação de séries temporais UCR e UEA. No entanto, os conjuntos de dados nesses benchmarks são pequenos, com tamanhos medianos de 217 e 255 exemplos, respectivamente. Como consequência, eles favorecem um subespaço restrito de modelos que são otimizados para alcançar baixo erro de classificação em uma variedade de conjuntos de dados menores, ou seja, modelos que minimizam a variância e dão pouca importância a questões computacionais, como escalabilidade. Nossa esperança é diversificar o campo, introduzindo benchmarks que utilizam conjuntos de dados maiores. Acreditamos que há um enorme potencial para novos avanços no campo, ao enfrentar os desafios teóricos e práticos de aprender efetivamente a partir de quantidades maiores de dados.

English

We introduce MONSTER-the MONash Scalable Time Series Evaluation Repository-a collection of large datasets for time series classification. The field of time series classification has benefitted from common benchmarks set by the UCR and UEA time series classification repositories. However, the datasets in these benchmarks are small, with median sizes of 217 and 255 examples, respectively. In consequence they favour a narrow subspace of models that are optimised to achieve low classification error on a wide variety of smaller datasets, that is, models that minimise variance, and give little weight to computational issues such as scalability. Our hope is to diversify the field by introducing benchmarks using larger datasets. We believe that there is enormous potential for new progress in the field by engaging with the theoretical and practical challenges of learning effectively from larger quantities of data.