MONSTER: Repositorio de Evaluación de Series Temporales Escalable de Monash

MONSTER: Monash Scalable Time Series Evaluation Repository

February 21, 2025

Autores: Angus Dempster, Navid Mohammadi Foumani, Chang Wei Tan, Lynn Miller, Amish Mishra, Mahsa Salehi, Charlotte Pelletier, Daniel F. Schmidt, Geoffrey I. Webb

cs.AI

Resumen

Presentamos MONSTER, el Repositorio de Evaluación de Series Temporales Escalable de MONash, una colección de grandes conjuntos de datos para la clasificación de series temporales. El campo de la clasificación de series temporales se ha beneficiado de los puntos de referencia comunes establecidos por los repositorios de clasificación de series temporales UCR y UEA. Sin embargo, los conjuntos de datos en estos puntos de referencia son pequeños, con tamaños medianos de 217 y 255 ejemplos, respectivamente. Como consecuencia, favorecen un subespacio reducido de modelos que están optimizados para lograr un bajo error de clasificación en una amplia variedad de conjuntos de datos más pequeños, es decir, modelos que minimizan la varianza y dan poco peso a cuestiones computacionales como la escalabilidad. Nuestra esperanza es diversificar el campo introduciendo puntos de referencia que utilicen conjuntos de datos más grandes. Creemos que existe un enorme potencial para nuevos avances en el campo al abordar los desafíos teóricos y prácticos de aprender de manera efectiva a partir de cantidades más grandes de datos.

English

We introduce MONSTER-the MONash Scalable Time Series Evaluation Repository-a collection of large datasets for time series classification. The field of time series classification has benefitted from common benchmarks set by the UCR and UEA time series classification repositories. However, the datasets in these benchmarks are small, with median sizes of 217 and 255 examples, respectively. In consequence they favour a narrow subspace of models that are optimised to achieve low classification error on a wide variety of smaller datasets, that is, models that minimise variance, and give little weight to computational issues such as scalability. Our hope is to diversify the field by introducing benchmarks using larger datasets. We believe that there is enormous potential for new progress in the field by engaging with the theoretical and practical challenges of learning effectively from larger quantities of data.