Blick ins Herz: Ein Multi-View-Videodatensatz für rPPG und die Schätzung von Gesundheitsbiomarkern
Gaze into the Heart: A Multi-View Video Dataset for rPPG and Health Biomarkers Estimation
August 25, 2025
papers.authors: Konstantin Egorov, Stepan Botman, Pavel Blinov, Galina Zubkova, Anton Ivaschenko, Alexander Kolsanov, Andrey Savchenko
cs.AI
papers.abstract
Fortschritte in der Remote-PhotoPlethysmoGraphie (rPPG) werden durch kritische Probleme bestehender öffentlich verfügbarer Datensätze eingeschränkt: geringe Größe, Datenschutzbedenken bei Gesichtsvideos und mangelnde Vielfalt in den Bedingungen. Das Papier stellt einen neuartigen, umfassenden groß angelegten Multi-View-Video-Datensatz für rPPG und die Schätzung von Gesundheitsbiomarkern vor. Unser Datensatz umfasst 3600 synchronisierte Videoaufnahmen von 600 Probanden, die unter verschiedenen Bedingungen (Ruhe und nach körperlicher Betätigung) mit mehreren Consumer-Kameras aus verschiedenen Winkeln aufgenommen wurden. Um eine multimodale Analyse physiologischer Zustände zu ermöglichen, ist jede Aufnahme mit einem 100-Hz-PPG-Signal und erweiterten Gesundheitsmetriken wie Elektrokardiogramm, arteriellem Blutdruck, Biomarkern, Temperatur, Sauerstoffsättigung, Atemfrequenz und Stresslevel verknüpft. Mit diesen Daten trainieren wir ein effizientes rPPG-Modell und vergleichen dessen Qualität in Cross-Dataset-Szenarien mit bestehenden Ansätzen. Die öffentliche Bereitstellung unseres Datensatzes und Modells sollte den Fortschritt bei der Entwicklung von KI-basierten medizinischen Assistenten erheblich beschleunigen.
English
Progress in remote PhotoPlethysmoGraphy (rPPG) is limited by the critical
issues of existing publicly available datasets: small size, privacy concerns
with facial videos, and lack of diversity in conditions. The paper introduces a
novel comprehensive large-scale multi-view video dataset for rPPG and health
biomarkers estimation. Our dataset comprises 3600 synchronized video recordings
from 600 subjects, captured under varied conditions (resting and post-exercise)
using multiple consumer-grade cameras at different angles. To enable multimodal
analysis of physiological states, each recording is paired with a 100 Hz PPG
signal and extended health metrics, such as electrocardiogram, arterial blood
pressure, biomarkers, temperature, oxygen saturation, respiratory rate, and
stress level. Using this data, we train an efficient rPPG model and compare its
quality with existing approaches in cross-dataset scenarios. The public release
of our dataset and model should significantly speed up the progress in the
development of AI medical assistants.