Olhar para o Coração: Um Conjunto de Dados de Vídeo Multi-visão para Estimação de rPPG e Biomarcadores de Saúde
Gaze into the Heart: A Multi-View Video Dataset for rPPG and Health Biomarkers Estimation
August 25, 2025
Autores: Konstantin Egorov, Stepan Botman, Pavel Blinov, Galina Zubkova, Anton Ivaschenko, Alexander Kolsanov, Andrey Savchenko
cs.AI
Resumo
O progresso na FotoPletismografia Remota (rPPG) é limitado por questões críticas dos conjuntos de dados públicos disponíveis: tamanho reduzido, preocupações com privacidade em vídeos faciais e falta de diversidade nas condições. Este artigo apresenta um novo conjunto de dados abrangente e em larga escala de vídeos multiview para rPPG e estimativa de biomarcadores de saúde. Nosso conjunto de dados compreende 3600 gravações de vídeo sincronizadas de 600 indivíduos, capturadas em condições variadas (repouso e pós-exercício) usando múltiplas câmeras de consumo em diferentes ângulos. Para permitir a análise multimodal dos estados fisiológicos, cada gravação é acompanhada por um sinal PPG de 100 Hz e métricas de saúde estendidas, como eletrocardiograma, pressão arterial, biomarcadores, temperatura, saturação de oxigênio, taxa respiratória e nível de estresse. Utilizando esses dados, treinamos um modelo eficiente de rPPG e comparamos sua qualidade com abordagens existentes em cenários de conjunto de dados cruzados. A liberação pública do nosso conjunto de dados e modelo deve acelerar significativamente o progresso no desenvolvimento de assistentes médicos baseados em IA.
English
Progress in remote PhotoPlethysmoGraphy (rPPG) is limited by the critical
issues of existing publicly available datasets: small size, privacy concerns
with facial videos, and lack of diversity in conditions. The paper introduces a
novel comprehensive large-scale multi-view video dataset for rPPG and health
biomarkers estimation. Our dataset comprises 3600 synchronized video recordings
from 600 subjects, captured under varied conditions (resting and post-exercise)
using multiple consumer-grade cameras at different angles. To enable multimodal
analysis of physiological states, each recording is paired with a 100 Hz PPG
signal and extended health metrics, such as electrocardiogram, arterial blood
pressure, biomarkers, temperature, oxygen saturation, respiratory rate, and
stress level. Using this data, we train an efficient rPPG model and compare its
quality with existing approaches in cross-dataset scenarios. The public release
of our dataset and model should significantly speed up the progress in the
development of AI medical assistants.