EBES: Facile Benchmarking per Sequenze di Eventi

EBES: Easy Benchmarking for Event Sequences

October 4, 2024

Autori: Dmitry Osin, Igor Udovichenko, Viktor Moskvoretskii, Egor Shvetsov, Evgeny Burnaev

cs.AI

Abstract

Le sequenze di eventi, caratterizzate da intervalli di campionamento irregolari e una combinazione di caratteristiche categoriali e numeriche, sono strutture dati comuni in vari domini del mondo reale come sanità, finanza e registri di interazioni utente. Nonostante i progressi nelle tecniche di modellizzazione dei dati temporali, non esistono benchmark standardizzati per valutare le prestazioni su sequenze di eventi. Ciò rende complicata la comparazione dei risultati tra diversi articoli a causa di protocolli di valutazione variabili, potenzialmente fuorvianti per i progressi in questo campo. Introduciamo EBES, uno strumento completo di benchmarking con scenari di valutazione e protocolli standardizzati, focalizzati su problemi di regressione e classificazione con obiettivi a livello di sequenza. La nostra libreria semplifica il benchmarking, l'aggiunta di dataset e l'integrazione di metodi attraverso un'interfaccia unificata. Include un dataset sintetico innovativo e fornisce dataset del mondo reale preelaborati, tra cui il più grande dataset bancario disponibile pubblicamente. I nostri risultati forniscono un'analisi approfondita dei dataset, identificando alcuni come inadatti per la comparazione dei modelli. Indaghiamo sull'importanza della modellizzazione dei componenti temporali e sequenziali, nonché sulle proprietà di robustezza e scalabilità dei modelli. Queste scoperte evidenziano possibili direzioni per futuri studi. Il nostro obiettivo di benchmark è facilitare la ricerca riproducibile, accelerando i progressi e aumentando gli impatti nel mondo reale.

English

Event sequences, characterized by irregular sampling intervals and a mix of categorical and numerical features, are common data structures in various real-world domains such as healthcare, finance, and user interaction logs. Despite advances in temporal data modeling techniques, there is no standardized benchmarks for evaluating their performance on event sequences. This complicates result comparison across different papers due to varying evaluation protocols, potentially misleading progress in this field. We introduce EBES, a comprehensive benchmarking tool with standardized evaluation scenarios and protocols, focusing on regression and classification problems with sequence-level targets. Our library simplifies benchmarking, dataset addition, and method integration through a unified interface. It includes a novel synthetic dataset and provides preprocessed real-world datasets, including the largest publicly available banking dataset. Our results provide an in-depth analysis of datasets, identifying some as unsuitable for model comparison. We investigate the importance of modeling temporal and sequential components, as well as the robustness and scaling properties of the models. These findings highlight potential directions for future research. Our benchmark aim is to facilitate reproducible research, expediting progress and increasing real-world impacts.