Мгновенный захват головы с нескольких ракурсов через обучаемую регистрацию

Instant Multi-View Head Capture through Learnable Registration

June 12, 2023

Авторы: Timo Bolkart, Tianye Li, Michael J. Black

cs.AI

Аннотация

Существующие методы для создания наборов данных 3D-голов с плотной семантической корреспонденцией являются медленными и обычно решают задачу в два отдельных этапа: реконструкция с использованием многовидового стерео (MVS) с последующей нежесткой регистрацией. Чтобы упростить этот процесс, мы представляем TEMPEH (Towards Estimation of 3D Meshes from Performances of Expressive Heads) для прямого вывода 3D-голов с плотной корреспонденцией из калиброванных многовидовых изображений. Регистрация наборов данных 3D-сканирований обычно требует ручной настройки параметров для нахождения правильного баланса между точным соответствием поверхностям сканирования и устойчивостью к шумам и выбросам. Вместо этого мы предлагаем совместно регистрировать набор данных 3D-голов во время обучения TEMPEH. В частности, в процессе обучения мы минимизируем геометрическую потерю, обычно используемую для регистрации поверхностей, эффективно используя TEMPEH в качестве регуляризатора. Наш многовидовой вывод голов основан на объемном представлении признаков, которое выбирает и объединяет признаки из каждого вида с использованием информации о калибровке камер. Для учета частичных окклюций и большого объема захвата, позволяющего движения головы, мы используем видозависимое и поверхностно-ориентированное объединение признаков, а также модуль локализации головы на основе пространственного преобразователя. Мы используем сырые MVS-сканы в качестве обучающих данных, но, после обучения, TEMPEH напрямую предсказывает 3D-головы с плотной корреспонденцией без необходимости сканирования. Предсказание одной головы занимает около 0,3 секунды с медианной ошибкой реконструкции 0,26 мм, что на 64% ниже, чем у текущего состояния искусства. Это позволяет эффективно создавать большие наборы данных, содержащие нескольких людей и разнообразные мимические движения. Код, модель и данные доступны публично по адресу https://tempeh.is.tue.mpg.de.

English

Existing methods for capturing datasets of 3D heads in dense semantic correspondence are slow, and commonly address the problem in two separate steps; multi-view stereo (MVS) reconstruction followed by non-rigid registration. To simplify this process, we introduce TEMPEH (Towards Estimation of 3D Meshes from Performances of Expressive Heads) to directly infer 3D heads in dense correspondence from calibrated multi-view images. Registering datasets of 3D scans typically requires manual parameter tuning to find the right balance between accurately fitting the scans surfaces and being robust to scanning noise and outliers. Instead, we propose to jointly register a 3D head dataset while training TEMPEH. Specifically, during training we minimize a geometric loss commonly used for surface registration, effectively leveraging TEMPEH as a regularizer. Our multi-view head inference builds on a volumetric feature representation that samples and fuses features from each view using camera calibration information. To account for partial occlusions and a large capture volume that enables head movements, we use view- and surface-aware feature fusion, and a spatial transformer-based head localization module, respectively. We use raw MVS scans as supervision during training, but, once trained, TEMPEH directly predicts 3D heads in dense correspondence without requiring scans. Predicting one head takes about 0.3 seconds with a median reconstruction error of 0.26 mm, 64% lower than the current state-of-the-art. This enables the efficient capture of large datasets containing multiple people and diverse facial motions. Code, model, and data are publicly available at https://tempeh.is.tue.mpg.de.