Sapiens: Fondamento per Modelli di Visione Umana

Abstract

Presentiamo Sapiens, una famiglia di modelli per quattro compiti fondamentali di visione incentrati sull'uomo: stima della posa 2D, segmentazione delle parti del corpo, stima della profondità e previsione delle normali di superficie. I nostri modelli supportano nativamente inferenze ad alta risoluzione 1K e sono estremamente facili da adattare per singoli compiti semplicemente fine-tunando modelli pre-addestrati su oltre 300 milioni di immagini umane in contesti reali. Osserviamo che, a parità di budget computazionale, il pre-addestramento self-supervised su un dataset curato di immagini umane migliora significativamente le prestazioni per un insieme diversificato di compiti incentrati sull'uomo. I modelli risultanti mostrano una notevole generalizzazione ai dati in contesti reali, anche quando i dati etichettati sono scarsi o interamente sintetici. Il nostro design semplice del modello garantisce anche scalabilità: le prestazioni del modello attraverso i compiti migliorano man mano che aumentiamo il numero di parametri da 0,3 a 2 miliardi. Sapiens supera costantemente le baseline esistenti in vari benchmark incentrati sull'uomo. Raggiungiamo miglioramenti significativi rispetto allo stato dell'arte precedente su Humans-5K (posa) di 7,6 mAP, Humans-2K (segmentazione parti) di 17,1 mIoU, Hi4D (profondità) del 22,4% in RMSE relativo e THuman2 (normali) del 53,5% in errore angolare relativo.

English

We present Sapiens, a family of models for four fundamental human-centric vision tasks - 2D pose estimation, body-part segmentation, depth estimation, and surface normal prediction. Our models natively support 1K high-resolution inference and are extremely easy to adapt for individual tasks by simply fine-tuning models pretrained on over 300 million in-the-wild human images. We observe that, given the same computational budget, self-supervised pretraining on a curated dataset of human images significantly boosts the performance for a diverse set of human-centric tasks. The resulting models exhibit remarkable generalization to in-the-wild data, even when labeled data is scarce or entirely synthetic. Our simple model design also brings scalability - model performance across tasks improves as we scale the number of parameters from 0.3 to 2 billion. Sapiens consistently surpasses existing baselines across various human-centric benchmarks. We achieve significant improvements over the prior state-of-the-art on Humans-5K (pose) by 7.6 mAP, Humans-2K (part-seg) by 17.1 mIoU, Hi4D (depth) by 22.4% relative RMSE, and THuman2 (normal) by 53.5% relative angular error.

Sapiens: Fondamento per Modelli di Visione Umana

Sapiens: Foundation for Human Vision Models

Abstract

Support