인류학: 인간 시각 모델의 기초

초록

우리는 인간 중심의 네 가지 핵심 비전 작업인 2D 포즈 추정, 신체 부위 분할, 깊이 추정 및 표면 법선 예측을 위한 모델 패밀리인 Sapiens를 제안합니다. 우리의 모델은 기본적으로 1K 고해상도 추론을 지원하며, 야외에서 촬영된 인간 이미지 3억 개 이상을 사전 훈련한 모델을 단순히 세밀 조정하여 각 작업에 매우 쉽게 적응할 수 있습니다. 동일한 계산 예산을 가정할 때, 인간 이미지의 선별된 데이터셋에서의 자기 지도 사전 훈련은 다양한 인간 중심 작업의 성능을 현저히 향상시킵니다. 결과 모델은 라벨이 부족하거나 완전히 합성된 데이터일 때에도 야외 데이터에 대한 놀라운 일반화 능력을 보여줍니다. 우리의 간단한 모델 설계는 확장성을 제공하며, 매개 변수 수를 0.3억 개에서 20억 개로 확장함에 따라 작업 간 모델 성능이 향상됩니다. Sapiens는 다양한 인간 중심 벤치마크에서 기존 기준선을 일관되게 능가합니다. 우리는 Humans-5K (포즈)에서 7.6 mAP, Humans-2K (부분 분할)에서 17.1 mIoU, Hi4D (깊이)에서 상대 RMSE 22.4%, 그리고 THuman2 (법선)에서 상대 각도 오차 53.5%에 대해 이전 최첨단 기술에 비해 상당한 개선을 달성했습니다.

English

We present Sapiens, a family of models for four fundamental human-centric vision tasks - 2D pose estimation, body-part segmentation, depth estimation, and surface normal prediction. Our models natively support 1K high-resolution inference and are extremely easy to adapt for individual tasks by simply fine-tuning models pretrained on over 300 million in-the-wild human images. We observe that, given the same computational budget, self-supervised pretraining on a curated dataset of human images significantly boosts the performance for a diverse set of human-centric tasks. The resulting models exhibit remarkable generalization to in-the-wild data, even when labeled data is scarce or entirely synthetic. Our simple model design also brings scalability - model performance across tasks improves as we scale the number of parameters from 0.3 to 2 billion. Sapiens consistently surpasses existing baselines across various human-centric benchmarks. We achieve significant improvements over the prior state-of-the-art on Humans-5K (pose) by 7.6 mAP, Humans-2K (part-seg) by 17.1 mIoU, Hi4D (depth) by 22.4% relative RMSE, and THuman2 (normal) by 53.5% relative angular error.

인류학: 인간 시각 모델의 기초

Sapiens: Foundation for Human Vision Models

초록

Summary

Support

Support