Sguardo nel Cuore: Un Dataset Video Multi-Vista per la Stima di rPPG e Biomarcatori di Salute
Gaze into the Heart: A Multi-View Video Dataset for rPPG and Health Biomarkers Estimation
August 25, 2025
Autori: Konstantin Egorov, Stepan Botman, Pavel Blinov, Galina Zubkova, Anton Ivaschenko, Alexander Kolsanov, Andrey Savchenko
cs.AI
Abstract
I progressi nella fotopletismografia remota (rPPG) sono limitati dai problemi critici dei dataset pubblicamente disponibili: dimensioni ridotte, preoccupazioni relative alla privacy con i video facciali e mancanza di diversità nelle condizioni. Il documento introduce un nuovo dataset video su larga scala e multi-view per la stima della rPPG e dei biomarcatori di salute. Il nostro dataset comprende 3600 registrazioni video sincronizzate di 600 soggetti, catturate in condizioni variabili (riposo e post-esercizio) utilizzando più telecamere consumer da diverse angolazioni. Per consentire un'analisi multimodale degli stati fisiologici, ogni registrazione è associata a un segnale PPG a 100 Hz e a metriche di salute estese, come elettrocardiogramma, pressione arteriosa, biomarcatori, temperatura, saturazione di ossigeno, frequenza respiratoria e livello di stress. Utilizzando questi dati, addestriamo un modello rPPG efficiente e confrontiamo la sua qualità con approcci esistenti in scenari cross-dataset. La pubblicazione del nostro dataset e modello dovrebbe accelerare significativamente i progressi nello sviluppo di assistenti medici basati sull'intelligenza artificiale.
English
Progress in remote PhotoPlethysmoGraphy (rPPG) is limited by the critical
issues of existing publicly available datasets: small size, privacy concerns
with facial videos, and lack of diversity in conditions. The paper introduces a
novel comprehensive large-scale multi-view video dataset for rPPG and health
biomarkers estimation. Our dataset comprises 3600 synchronized video recordings
from 600 subjects, captured under varied conditions (resting and post-exercise)
using multiple consumer-grade cameras at different angles. To enable multimodal
analysis of physiological states, each recording is paired with a 100 Hz PPG
signal and extended health metrics, such as electrocardiogram, arterial blood
pressure, biomarkers, temperature, oxygen saturation, respiratory rate, and
stress level. Using this data, we train an efficient rPPG model and compare its
quality with existing approaches in cross-dataset scenarios. The public release
of our dataset and model should significantly speed up the progress in the
development of AI medical assistants.