QuartDepth: Quantização Pós-Treinamento para Estimativa de Profundidade em Tempo Real na Borda

QuartDepth: Post-Training Quantization for Real-Time Depth Estimation on the Edge

March 20, 2025

Autores: Xuan Shen, Weize Ma, Jing Liu, Changdi Yang, Rui Ding, Quanyi Wang, Henghui Ding, Wei Niu, Yanzhi Wang, Pu Zhao, Jun Lin, Jiuxiang Gu

cs.AI

Resumo

A Estimação de Profundidade Monocular (MDE, do inglês Monocular Depth Estimation) emergiu como uma tarefa fundamental na visão computacional, suportando inúmeras aplicações do mundo real. No entanto, a implantação de modelos precisos de estimação de profundidade em dispositivos de borda com recursos limitados, especialmente Circuitos Integrados de Aplicação Específica (ASICs, do inglês Application-Specific Integrated Circuits), é desafiadora devido às altas demandas computacionais e de memória. Avanços recentes em estimação de profundidade fundamental entregam resultados impressionantes, mas amplificam ainda mais a dificuldade de implantação em ASICs. Para abordar isso, propomos o QuartDepth, que adota quantização pós-treinamento para quantizar modelos MDE com acelerações de hardware para ASICs. Nossa abordagem envolve a quantização de pesos e ativações para precisão de 4 bits, reduzindo o tamanho do modelo e o custo computacional. Para mitigar a degradação de desempenho, introduzimos um algoritmo de polimento e compensação de ativações aplicado antes e depois da quantização de ativações, bem como um método de reconstrução de pesos para minimizar erros na quantização de pesos. Além disso, projetamos um acelerador de hardware flexível e programável, suportando fusão de kernels e programabilidade de instruções personalizadas, aumentando a taxa de transferência e a eficiência. Resultados experimentais demonstram que nosso framework alcança precisão competitiva enquanto permite inferência rápida e maior eficiência energética em ASICs, reduzindo a lacuna entre a estimação de profundidade de alto desempenho e a aplicabilidade prática em dispositivos de borda. Código: https://github.com/shawnricecake/quart-depth

English

Monocular Depth Estimation (MDE) has emerged as a pivotal task in computer vision, supporting numerous real-world applications. However, deploying accurate depth estimation models on resource-limited edge devices, especially Application-Specific Integrated Circuits (ASICs), is challenging due to the high computational and memory demands. Recent advancements in foundational depth estimation deliver impressive results but further amplify the difficulty of deployment on ASICs. To address this, we propose QuartDepth which adopts post-training quantization to quantize MDE models with hardware accelerations for ASICs. Our approach involves quantizing both weights and activations to 4-bit precision, reducing the model size and computation cost. To mitigate the performance degradation, we introduce activation polishing and compensation algorithm applied before and after activation quantization, as well as a weight reconstruction method for minimizing errors in weight quantization. Furthermore, we design a flexible and programmable hardware accelerator by supporting kernel fusion and customized instruction programmability, enhancing throughput and efficiency. Experimental results demonstrate that our framework achieves competitive accuracy while enabling fast inference and higher energy efficiency on ASICs, bridging the gap between high-performance depth estimation and practical edge-device applicability. Code: https://github.com/shawnricecake/quart-depth