Sapiens: Fundamentos para Modelos de Visión Humana

Sapiens: Foundation for Human Vision Models

August 22, 2024

Autores: Rawal Khirodkar, Timur Bagautdinov, Julieta Martinez, Su Zhaoen, Austin James, Peter Selednik, Stuart Anderson, Shunsuke Saito

cs.AI

Resumen

Presentamos Sapiens, una familia de modelos para cuatro tareas fundamentales centradas en la visión humana: estimación de postura en 2D, segmentación de partes del cuerpo, estimación de profundidad y predicción de normales de superficie. Nuestros modelos admiten nativamente inferencias de alta resolución de 1K y son extremadamente fáciles de adaptar para tareas individuales simplemente ajustando modelos preentrenados en más de 300 millones de imágenes humanas en entornos naturales. Observamos que, dado el mismo presupuesto computacional, el preentrenamiento auto-supervisado en un conjunto de datos seleccionado de imágenes humanas mejora significativamente el rendimiento para un conjunto diverso de tareas centradas en humanos. Los modelos resultantes muestran una notable generalización a datos en entornos naturales, incluso cuando los datos etiquetados son escasos o completamente sintéticos. Nuestro diseño de modelo simple también aporta escalabilidad: el rendimiento del modelo en las tareas mejora a medida que aumentamos el número de parámetros de 0.3 a 2 mil millones. Sapiens supera consistentemente los baselines existentes en varios benchmarks centrados en humanos. Logramos mejoras significativas sobre el estado del arte previo en Humans-5K (postura) en 7.6 mAP, Humans-2K (segmentación de partes) en 17.1 mIoU, Hi4D (profundidad) en un 22.4% de RMSE relativo, y THuman2 (normales) en un 53.5% de error angular relativo.

English

We present Sapiens, a family of models for four fundamental human-centric vision tasks - 2D pose estimation, body-part segmentation, depth estimation, and surface normal prediction. Our models natively support 1K high-resolution inference and are extremely easy to adapt for individual tasks by simply fine-tuning models pretrained on over 300 million in-the-wild human images. We observe that, given the same computational budget, self-supervised pretraining on a curated dataset of human images significantly boosts the performance for a diverse set of human-centric tasks. The resulting models exhibit remarkable generalization to in-the-wild data, even when labeled data is scarce or entirely synthetic. Our simple model design also brings scalability - model performance across tasks improves as we scale the number of parameters from 0.3 to 2 billion. Sapiens consistently surpasses existing baselines across various human-centric benchmarks. We achieve significant improvements over the prior state-of-the-art on Humans-5K (pose) by 7.6 mAP, Humans-2K (part-seg) by 17.1 mIoU, Hi4D (depth) by 22.4% relative RMSE, and THuman2 (normal) by 53.5% relative angular error.