Взгляд в сердце: набор многокадровых видеоданных для оценки rPPG и биомаркеров здоровья
Gaze into the Heart: A Multi-View Video Dataset for rPPG and Health Biomarkers Estimation
August 25, 2025
Авторы: Konstantin Egorov, Stepan Botman, Pavel Blinov, Galina Zubkova, Anton Ivaschenko, Alexander Kolsanov, Andrey Savchenko
cs.AI
Аннотация
Прогресс в области дистанционной фотоплетизмографии (rPPG) ограничен ключевыми проблемами существующих общедоступных наборов данных: их небольшой размер, проблемы конфиденциальности, связанные с видеозаписями лиц, и отсутствие разнообразия условий. В данной статье представлен новый комплексный крупномасштабный набор данных с многокамерной видеосъемкой для rPPG и оценки биомаркеров здоровья. Наш набор данных включает 3600 синхронизированных видеозаписей от 600 испытуемых, сделанных в различных условиях (в состоянии покоя и после физической нагрузки) с использованием нескольких потребительских камер под разными углами. Для обеспечения многомодального анализа физиологических состояний каждая запись сопровождается сигналом PPG с частотой 100 Гц и расширенными метриками здоровья, такими как электрокардиограмма, артериальное давление, биомаркеры, температура, насыщение кислородом, частота дыхания и уровень стресса. Используя эти данные, мы обучаем эффективную модель rPPG и сравниваем её качество с существующими подходами в кросс-датасетных сценариях. Публичный выпуск нашего набора данных и модели должен значительно ускорить прогресс в разработке медицинских ассистентов на основе ИИ.
English
Progress in remote PhotoPlethysmoGraphy (rPPG) is limited by the critical
issues of existing publicly available datasets: small size, privacy concerns
with facial videos, and lack of diversity in conditions. The paper introduces a
novel comprehensive large-scale multi-view video dataset for rPPG and health
biomarkers estimation. Our dataset comprises 3600 synchronized video recordings
from 600 subjects, captured under varied conditions (resting and post-exercise)
using multiple consumer-grade cameras at different angles. To enable multimodal
analysis of physiological states, each recording is paired with a 100 Hz PPG
signal and extended health metrics, such as electrocardiogram, arterial blood
pressure, biomarkers, temperature, oxygen saturation, respiratory rate, and
stress level. Using this data, we train an efficient rPPG model and compare its
quality with existing approaches in cross-dataset scenarios. The public release
of our dataset and model should significantly speed up the progress in the
development of AI medical assistants.