EBES: 이벤트 시퀀스를 위한 쉬운 벤치마킹

EBES: Easy Benchmarking for Event Sequences

October 4, 2024

저자: Dmitry Osin, Igor Udovichenko, Viktor Moskvoretskii, Egor Shvetsov, Evgeny Burnaev

cs.AI

초록

이벤트 시퀀스는 불규칙한 샘플링 간격과 범주형 및 수치형 특징의 혼합으로 특징 지어지며, 의료, 금융 및 사용자 상호작용 로그와 같은 다양한 실제 도메인에서 일반적인 데이터 구조입니다. 시간 데이터 모델링 기술의 발전에도 불구하고, 이벤트 시퀀스에서의 성능을 평가하기 위한 표준화된 벤치마크가 없습니다. 이는 서로 다른 논문 간의 결과 비교를 복잡하게 만들어 이 분야의 진전을 오도할 수 있는 다양한 평가 프로토콜로 인해 발생합니다. 저희는 회귀 및 분류 문제에 초점을 맞춘 시퀀스 수준의 대상을 갖는 표준화된 평가 시나리오와 프로토콜을 갖춘 포괄적인 벤치마킹 도구인 EBES를 소개합니다. 저희 라이브러리는 통합된 인터페이스를 통해 벤치마킹, 데이터셋 추가 및 방법 통합을 간소화합니다. 이는 새로운 합성 데이터셋을 포함하고, 최대 규모의 공개 은행 데이터셋을 비롯한 사전 처리된 실제 데이터셋을 제공합니다. 저희 결과는 데이터셋의 심층적인 분석을 제공하며, 일부 모델 비교에 부적합한 것으로 확인됩니다. 우리는 시간 및 순차 구성 요소 모델링의 중요성, 모델의 견고성 및 확장성 특성을 조사합니다. 이러한 결과는 미래 연구를 위한 잠재적인 방향을 강조합니다. 저희 벤치마크의 목표는 재현 가능한 연구를 용이하게 하여 진전을 가속화하고 실제 세계 영향을 증가시키는 데 있습니다.

English

Event sequences, characterized by irregular sampling intervals and a mix of categorical and numerical features, are common data structures in various real-world domains such as healthcare, finance, and user interaction logs. Despite advances in temporal data modeling techniques, there is no standardized benchmarks for evaluating their performance on event sequences. This complicates result comparison across different papers due to varying evaluation protocols, potentially misleading progress in this field. We introduce EBES, a comprehensive benchmarking tool with standardized evaluation scenarios and protocols, focusing on regression and classification problems with sequence-level targets. Our library simplifies benchmarking, dataset addition, and method integration through a unified interface. It includes a novel synthetic dataset and provides preprocessed real-world datasets, including the largest publicly available banking dataset. Our results provide an in-depth analysis of datasets, identifying some as unsuitable for model comparison. We investigate the importance of modeling temporal and sequential components, as well as the robustness and scaling properties of the models. These findings highlight potential directions for future research. Our benchmark aim is to facilitate reproducible research, expediting progress and increasing real-world impacts.