QuartDepth : Quantification post-entraînement pour l'estimation de profondeur en temps réel sur les dispositifs embarqués

QuartDepth: Post-Training Quantization for Real-Time Depth Estimation on the Edge

March 20, 2025

Auteurs: Xuan Shen, Weize Ma, Jing Liu, Changdi Yang, Rui Ding, Quanyi Wang, Henghui Ding, Wei Niu, Yanzhi Wang, Pu Zhao, Jun Lin, Jiuxiang Gu

cs.AI

Résumé

L'estimation de profondeur monoculaire (Monocular Depth Estimation, MDE) est devenue une tâche essentielle en vision par ordinateur, soutenant de nombreuses applications dans le monde réel. Cependant, le déploiement de modèles d'estimation de profondeur précis sur des dispositifs embarqués aux ressources limitées, en particulier les circuits intégrés spécifiques à une application (Application-Specific Integrated Circuits, ASICs), est un défi en raison des exigences élevées en calcul et en mémoire. Les récents progrès dans les modèles fondamentaux d'estimation de profondeur offrent des résultats impressionnants, mais accentuent encore la difficulté de déploiement sur les ASICs. Pour résoudre ce problème, nous proposons QuartDepth, qui adopte la quantification post-entraînement pour quantifier les modèles MDE avec des accélérations matérielles pour les ASICs. Notre approche consiste à quantifier à la fois les poids et les activations à une précision de 4 bits, réduisant ainsi la taille du modèle et le coût de calcul. Pour atténuer la dégradation des performances, nous introduisons un algorithme de polissage et de compensation des activations appliqué avant et après la quantification des activations, ainsi qu'une méthode de reconstruction des poids pour minimiser les erreurs lors de la quantification des poids. De plus, nous concevons un accélérateur matériel flexible et programmable en prenant en charge la fusion de noyaux et la programmabilité d'instructions personnalisées, améliorant ainsi le débit et l'efficacité. Les résultats expérimentaux démontrent que notre cadre atteint une précision compétitive tout en permettant une inférence rapide et une meilleure efficacité énergétique sur les ASICs, comblant ainsi l'écart entre une estimation de profondeur haute performance et une applicabilité pratique sur les dispositifs embarqués. Code : https://github.com/shawnricecake/quart-depth

English

Monocular Depth Estimation (MDE) has emerged as a pivotal task in computer vision, supporting numerous real-world applications. However, deploying accurate depth estimation models on resource-limited edge devices, especially Application-Specific Integrated Circuits (ASICs), is challenging due to the high computational and memory demands. Recent advancements in foundational depth estimation deliver impressive results but further amplify the difficulty of deployment on ASICs. To address this, we propose QuartDepth which adopts post-training quantization to quantize MDE models with hardware accelerations for ASICs. Our approach involves quantizing both weights and activations to 4-bit precision, reducing the model size and computation cost. To mitigate the performance degradation, we introduce activation polishing and compensation algorithm applied before and after activation quantization, as well as a weight reconstruction method for minimizing errors in weight quantization. Furthermore, we design a flexible and programmable hardware accelerator by supporting kernel fusion and customized instruction programmability, enhancing throughput and efficiency. Experimental results demonstrate that our framework achieves competitive accuracy while enabling fast inference and higher energy efficiency on ASICs, bridging the gap between high-performance depth estimation and practical edge-device applicability. Code: https://github.com/shawnricecake/quart-depth