Kijk in het Hart: Een Multi-View Videodataset voor rPPG en Schatting van Gezondheidsbiomarkers
Gaze into the Heart: A Multi-View Video Dataset for rPPG and Health Biomarkers Estimation
August 25, 2025
Auteurs: Konstantin Egorov, Stepan Botman, Pavel Blinov, Galina Zubkova, Anton Ivaschenko, Alexander Kolsanov, Andrey Savchenko
cs.AI
Samenvatting
Vooruitgang in remote PhotoPlethysmoGraphy (rPPG) wordt beperkt door de kritieke problemen van bestaande openbaar beschikbare datasets: kleine omvang, privacyzorgen met gezichtsvideo's en een gebrek aan diversiteit in omstandigheden. Dit artikel introduceert een nieuwe, uitgebreide grootschalige multiview-videodataset voor rPPG en de schatting van gezondheidsbiomarkers. Onze dataset bestaat uit 3600 gesynchroniseerde video-opnames van 600 proefpersonen, vastgelegd onder verschillende omstandigheden (rust en na inspanning) met behulp van meerdere consumentencamera's vanuit verschillende hoeken. Om multimodale analyse van fysiologische toestanden mogelijk te maken, is elke opname gekoppeld aan een 100 Hz PPG-signaal en uitgebreide gezondheidsmetingen, zoals elektrocardiogram, arteriële bloeddruk, biomarkers, temperatuur, zuurstofverzadiging, ademhalingsfrequentie en stressniveau. Met deze data trainen we een efficiënt rPPG-model en vergelijken we de kwaliteit ervan met bestaande benaderingen in cross-dataset-scenario's. De openbare release van onze dataset en model zou de vooruitgang in de ontwikkeling van AI-medische assistenten aanzienlijk kunnen versnellen.
English
Progress in remote PhotoPlethysmoGraphy (rPPG) is limited by the critical
issues of existing publicly available datasets: small size, privacy concerns
with facial videos, and lack of diversity in conditions. The paper introduces a
novel comprehensive large-scale multi-view video dataset for rPPG and health
biomarkers estimation. Our dataset comprises 3600 synchronized video recordings
from 600 subjects, captured under varied conditions (resting and post-exercise)
using multiple consumer-grade cameras at different angles. To enable multimodal
analysis of physiological states, each recording is paired with a 100 Hz PPG
signal and extended health metrics, such as electrocardiogram, arterial blood
pressure, biomarkers, temperature, oxygen saturation, respiratory rate, and
stress level. Using this data, we train an efficient rPPG model and compare its
quality with existing approaches in cross-dataset scenarios. The public release
of our dataset and model should significantly speed up the progress in the
development of AI medical assistants.