EBES : Évaluation Facile des Séquences d'Événements

EBES: Easy Benchmarking for Event Sequences

October 4, 2024

Auteurs: Dmitry Osin, Igor Udovichenko, Viktor Moskvoretskii, Egor Shvetsov, Evgeny Burnaev

cs.AI

Résumé

Les séquences d'événements, caractérisées par des intervalles d'échantillonnage irréguliers et un mélange de caractéristiques catégorielles et numériques, sont des structures de données courantes dans divers domaines du monde réel tels que la santé, la finance et les journaux d'interactions utilisateur. Malgré les avancées dans les techniques de modélisation des données temporelles, il n'existe pas de référentiels standardisés pour évaluer leurs performances sur les séquences d'événements. Cela complique la comparaison des résultats entre différents articles en raison de protocoles d'évaluation variables, pouvant potentiellement induire en erreur les progrès dans ce domaine. Nous présentons EBES, un outil complet d'évaluation avec des scénarios et des protocoles d'évaluation standardisés, axés sur les problèmes de régression et de classification avec des cibles au niveau de la séquence. Notre bibliothèque simplifie l'évaluation comparative, l'ajout de jeux de données et l'intégration de méthodes grâce à une interface unifiée. Elle comprend un jeu de données synthétique novateur et fournit des jeux de données du monde réel prétraités, y compris le plus grand jeu de données bancaires disponible publiquement. Nos résultats fournissent une analyse approfondie des jeux de données, identifiant certains comme inadaptés à la comparaison de modèles. Nous étudions l'importance de la modélisation des composantes temporelles et séquentielles, ainsi que les propriétés de robustesse et d'échelle des modèles. Ces résultats mettent en évidence des orientations potentielles pour les recherches futures. Notre objectif de référentiel est de faciliter la recherche reproductible, d'accélérer les progrès et d'accroître les impacts dans le monde réel.

English

Event sequences, characterized by irregular sampling intervals and a mix of categorical and numerical features, are common data structures in various real-world domains such as healthcare, finance, and user interaction logs. Despite advances in temporal data modeling techniques, there is no standardized benchmarks for evaluating their performance on event sequences. This complicates result comparison across different papers due to varying evaluation protocols, potentially misleading progress in this field. We introduce EBES, a comprehensive benchmarking tool with standardized evaluation scenarios and protocols, focusing on regression and classification problems with sequence-level targets. Our library simplifies benchmarking, dataset addition, and method integration through a unified interface. It includes a novel synthetic dataset and provides preprocessed real-world datasets, including the largest publicly available banking dataset. Our results provide an in-depth analysis of datasets, identifying some as unsuitable for model comparison. We investigate the importance of modeling temporal and sequential components, as well as the robustness and scaling properties of the models. These findings highlight potential directions for future research. Our benchmark aim is to facilitate reproducible research, expediting progress and increasing real-world impacts.