Sapiens: Grundlage für menschliche Sehmodelle

Sapiens: Foundation for Human Vision Models

August 22, 2024

Autoren: Rawal Khirodkar, Timur Bagautdinov, Julieta Martinez, Su Zhaoen, Austin James, Peter Selednik, Stuart Anderson, Shunsuke Saito

cs.AI

Zusammenfassung

Wir präsentieren Sapiens, eine Modellfamilie für vier grundlegende, auf den Menschen zentrierte Sehaufgaben - 2D-Posenschätzung, Segmentierung von Körperteilen, Tiefenschätzung und Vorhersage der Oberflächennormalen. Unsere Modelle unterstützen nativ Inferenzen in 1K-Hochauflösung und sind äußerst einfach an individuelle Aufgaben anzupassen, indem sie einfach durch Feinabstimmung von Modellen, die auf über 300 Millionen natürlichen menschlichen Bildern vortrainiert sind, angepasst werden. Wir beobachten, dass bei gleichem Rechenaufwand die selbstüberwachte Vortrainierung auf einem kuratierten Datensatz von menschlichen Bildern die Leistung für eine vielfältige Reihe von auf den Menschen zentrierten Aufgaben signifikant steigert. Die resultierenden Modelle zeigen eine bemerkenswerte Verallgemeinerung auf natürliche Daten, selbst wenn markierte Daten knapp oder vollständig synthetisch sind. Unser einfaches Modell-Design ermöglicht auch Skalierbarkeit - die Leistung des Modells über verschiedene Aufgaben hinweg verbessert sich, wenn wir die Anzahl der Parameter von 0,3 auf 2 Milliarden erhöhen. Sapiens übertrifft konsistent bestehende Baselines in verschiedenen auf den Menschen zentrierten Benchmarks. Wir erzielen signifikante Verbesserungen gegenüber dem bisherigen Stand der Technik bei Humans-5K (Pose) um 7,6 mAP, Humans-2K (Teilsegmentierung) um 17,1 mIoU, Hi4D (Tiefe) um 22,4% relativen RMSE und THuman2 (Normalen) um 53,5% relativen Winkelfehler.

English

We present Sapiens, a family of models for four fundamental human-centric vision tasks - 2D pose estimation, body-part segmentation, depth estimation, and surface normal prediction. Our models natively support 1K high-resolution inference and are extremely easy to adapt for individual tasks by simply fine-tuning models pretrained on over 300 million in-the-wild human images. We observe that, given the same computational budget, self-supervised pretraining on a curated dataset of human images significantly boosts the performance for a diverse set of human-centric tasks. The resulting models exhibit remarkable generalization to in-the-wild data, even when labeled data is scarce or entirely synthetic. Our simple model design also brings scalability - model performance across tasks improves as we scale the number of parameters from 0.3 to 2 billion. Sapiens consistently surpasses existing baselines across various human-centric benchmarks. We achieve significant improvements over the prior state-of-the-art on Humans-5K (pose) by 7.6 mAP, Humans-2K (part-seg) by 17.1 mIoU, Hi4D (depth) by 22.4% relative RMSE, and THuman2 (normal) by 53.5% relative angular error.