EBES: Benchmarking Fácil para Sequências de Eventos

EBES: Easy Benchmarking for Event Sequences

October 4, 2024

Autores: Dmitry Osin, Igor Udovichenko, Viktor Moskvoretskii, Egor Shvetsov, Evgeny Burnaev

cs.AI

Resumo

Sequências de eventos, caracterizadas por intervalos de amostragem irregulares e uma mistura de características categóricas e numéricas, são estruturas de dados comuns em vários domínios do mundo real, como saúde, finanças e registros de interação do usuário. Apesar dos avanços nas técnicas de modelagem de dados temporais, não existem benchmarks padronizados para avaliar seu desempenho em sequências de eventos. Isso complica a comparação de resultados entre diferentes artigos devido a protocolos de avaliação variados, potencialmente induzindo a erros no progresso deste campo. Apresentamos o EBES, uma ferramenta abrangente de benchmarking com cenários de avaliação e protocolos padronizados, focando em problemas de regressão e classificação com alvos no nível de sequência. Nossa biblioteca simplifica o benchmarking, a adição de conjuntos de dados e a integração de métodos por meio de uma interface unificada. Inclui um conjunto de dados sintéticos inovador e fornece conjuntos de dados do mundo real pré-processados, incluindo o maior conjunto de dados bancários publicamente disponível. Nossos resultados fornecem uma análise detalhada dos conjuntos de dados, identificando alguns como inadequados para comparação de modelos. Investigamos a importância da modelagem de componentes temporais e sequenciais, bem como as propriedades de robustez e escalabilidade dos modelos. Essas descobertas destacam direções potenciais para pesquisas futuras. Nosso objetivo com o benchmark é facilitar a pesquisa reproduzível, acelerar o progresso e aumentar os impactos no mundo real.

English

Event sequences, characterized by irregular sampling intervals and a mix of categorical and numerical features, are common data structures in various real-world domains such as healthcare, finance, and user interaction logs. Despite advances in temporal data modeling techniques, there is no standardized benchmarks for evaluating their performance on event sequences. This complicates result comparison across different papers due to varying evaluation protocols, potentially misleading progress in this field. We introduce EBES, a comprehensive benchmarking tool with standardized evaluation scenarios and protocols, focusing on regression and classification problems with sequence-level targets. Our library simplifies benchmarking, dataset addition, and method integration through a unified interface. It includes a novel synthetic dataset and provides preprocessed real-world datasets, including the largest publicly available banking dataset. Our results provide an in-depth analysis of datasets, identifying some as unsuitable for model comparison. We investigate the importance of modeling temporal and sequential components, as well as the robustness and scaling properties of the models. These findings highlight potential directions for future research. Our benchmark aim is to facilitate reproducible research, expediting progress and increasing real-world impacts.