EBES: Eenvoudige Benchmarking voor Gebeurtenisreeksen

EBES: Easy Benchmarking for Event Sequences

October 4, 2024

Auteurs: Dmitry Osin, Igor Udovichenko, Viktor Moskvoretskii, Egor Shvetsov, Evgeny Burnaev

cs.AI

Samenvatting

Gebeurtenisreeksen, gekenmerkt door onregelmatige bemonsteringsintervallen en een mix van categorische en numerieke kenmerken, zijn veelvoorkomende gegevensstructuren in verschillende real-world domeinen zoals gezondheidszorg, financiën en gebruikersinteractielogs. Ondanks vooruitgang in technieken voor het modelleren van temporele gegevens, bestaat er geen gestandaardiseerde benchmark voor het evalueren van hun prestaties op gebeurtenisreeksen. Dit bemoeilijkt het vergelijken van resultaten tussen verschillende papers vanwege variërende evaluatieprotocollen, wat mogelijk tot misleidende vooruitgang op dit gebied leidt. Wij introduceren EBES, een uitgebreid benchmarkingstool met gestandaardiseerde evaluatiescenario's en protocollen, gericht op regressie- en classificatieproblemen met doelen op sequentieniveau. Onze bibliotheek vereenvoudigt benchmarking, datasettoevoeging en methodenintegratie via een uniforme interface. Het bevat een nieuw synthetisch dataset en biedt voorbewerkte real-world datasets, inclusief de grootste openbaar beschikbare bankdataset. Onze resultaten bieden een diepgaande analyse van datasets, waarbij sommige als ongeschikt voor modelvergelijking worden geïdentificeerd. We onderzoeken het belang van het modelleren van temporele en sequentiële componenten, evenals de robuustheid en schaalbaarheid van de modellen. Deze bevindingen benadrukken potentiële richtingen voor toekomstig onderzoek. Ons benchmarkdoel is het vergemakkelijken van reproduceerbaar onderzoek, waardoor de vooruitgang wordt versneld en de impact in de echte wereld wordt vergroot.

English

Event sequences, characterized by irregular sampling intervals and a mix of categorical and numerical features, are common data structures in various real-world domains such as healthcare, finance, and user interaction logs. Despite advances in temporal data modeling techniques, there is no standardized benchmarks for evaluating their performance on event sequences. This complicates result comparison across different papers due to varying evaluation protocols, potentially misleading progress in this field. We introduce EBES, a comprehensive benchmarking tool with standardized evaluation scenarios and protocols, focusing on regression and classification problems with sequence-level targets. Our library simplifies benchmarking, dataset addition, and method integration through a unified interface. It includes a novel synthetic dataset and provides preprocessed real-world datasets, including the largest publicly available banking dataset. Our results provide an in-depth analysis of datasets, identifying some as unsuitable for model comparison. We investigate the importance of modeling temporal and sequential components, as well as the robustness and scaling properties of the models. These findings highlight potential directions for future research. Our benchmark aim is to facilitate reproducible research, expediting progress and increasing real-world impacts.