EBES: Einfaches Benchmarking für Ereignissequenzen

EBES: Easy Benchmarking for Event Sequences

October 4, 2024

Autoren: Dmitry Osin, Igor Udovichenko, Viktor Moskvoretskii, Egor Shvetsov, Evgeny Burnaev

cs.AI

Zusammenfassung

Ereignissequenzen, die durch unregelmäßige Abtastintervalle und eine Mischung aus kategorialen und numerischen Merkmalen gekennzeichnet sind, sind gängige Datenstrukturen in verschiedenen realen Bereichen wie Gesundheitswesen, Finanzen und Benutzerinteraktionsprotokollen. Trotz Fortschritten in den Techniken zur Modellierung zeitlicher Daten gibt es keine standardisierten Benchmarks zur Bewertung ihrer Leistung bei Ereignissequenzen. Dies erschwert den Vergleich von Ergebnissen in verschiedenen Veröffentlichungen aufgrund unterschiedlicher Bewertungsprotokolle und kann den Fortschritt in diesem Bereich potenziell irreführen. Wir stellen EBES vor, ein umfassendes Benchmarking-Tool mit standardisierten Bewertungsszenarien und -protokollen, das sich auf Regressions- und Klassifizierungsprobleme mit Sequenzzielen konzentriert. Unsere Bibliothek vereinfacht das Benchmarking, die Hinzufügung von Datensätzen und die Integration von Methoden durch eine einheitliche Schnittstelle. Sie enthält einen neuartigen synthetischen Datensatz und bietet vorverarbeitete Datensätze aus der realen Welt, einschließlich des größten öffentlich verfügbaren Bankdatensatzes. Unsere Ergebnisse bieten eine eingehende Analyse der Datensätze und identifizieren einige als ungeeignet für den Modellvergleich. Wir untersuchen die Bedeutung der Modellierung zeitlicher und sequenzieller Komponenten sowie die Robustheit und Skalierungseigenschaften der Modelle. Diese Erkenntnisse heben potenzielle Richtungen für zukünftige Forschung hervor. Unser Benchmarking-Ziel ist es, reproduzierbare Forschung zu erleichtern, den Fortschritt zu beschleunigen und die Auswirkungen in der realen Welt zu erhöhen.

English

Event sequences, characterized by irregular sampling intervals and a mix of categorical and numerical features, are common data structures in various real-world domains such as healthcare, finance, and user interaction logs. Despite advances in temporal data modeling techniques, there is no standardized benchmarks for evaluating their performance on event sequences. This complicates result comparison across different papers due to varying evaluation protocols, potentially misleading progress in this field. We introduce EBES, a comprehensive benchmarking tool with standardized evaluation scenarios and protocols, focusing on regression and classification problems with sequence-level targets. Our library simplifies benchmarking, dataset addition, and method integration through a unified interface. It includes a novel synthetic dataset and provides preprocessed real-world datasets, including the largest publicly available banking dataset. Our results provide an in-depth analysis of datasets, identifying some as unsuitable for model comparison. We investigate the importance of modeling temporal and sequential components, as well as the robustness and scaling properties of the models. These findings highlight potential directions for future research. Our benchmark aim is to facilitate reproducible research, expediting progress and increasing real-world impacts.