QuartDepth: Cuantización Post-Entrenamiento para Estimación de Profundidad en Tiempo Real en Dispositivos de Borde

QuartDepth: Post-Training Quantization for Real-Time Depth Estimation on the Edge

March 20, 2025

Autores: Xuan Shen, Weize Ma, Jing Liu, Changdi Yang, Rui Ding, Quanyi Wang, Henghui Ding, Wei Niu, Yanzhi Wang, Pu Zhao, Jun Lin, Jiuxiang Gu

cs.AI

Resumen

La Estimación de Profundidad Monocular (MDE, por sus siglas en inglés) ha surgido como una tarea fundamental en visión por computadora, respaldando numerosas aplicaciones del mundo real. Sin embargo, implementar modelos precisos de estimación de profundidad en dispositivos de borde con recursos limitados, especialmente en Circuitos Integrados de Aplicación Específica (ASICs), es un desafío debido a las altas demandas computacionales y de memoria. Los avances recientes en la estimación de profundidad basada en modelos fundamentales ofrecen resultados impresionantes, pero también amplifican la dificultad de implementación en ASICs. Para abordar este problema, proponemos QuartDepth, que adopta la cuantización posterior al entrenamiento para cuantizar modelos MDE con aceleraciones de hardware para ASICs. Nuestro enfoque implica cuantizar tanto los pesos como las activaciones a una precisión de 4 bits, reduciendo el tamaño del modelo y el costo computacional. Para mitigar la degradación del rendimiento, introducimos un algoritmo de pulido y compensación de activaciones aplicado antes y después de la cuantización de activaciones, así como un método de reconstrucción de pesos para minimizar los errores en la cuantización de pesos. Además, diseñamos un acelerador de hardware flexible y programable al admitir la fusión de kernels y la programabilidad de instrucciones personalizadas, mejorando el rendimiento y la eficiencia. Los resultados experimentales demuestran que nuestro marco logra una precisión competitiva al tiempo que permite una inferencia rápida y una mayor eficiencia energética en ASICs, cerrando la brecha entre la estimación de profundidad de alto rendimiento y la aplicabilidad práctica en dispositivos de borde. Código: https://github.com/shawnricecake/quart-depth.

English

Monocular Depth Estimation (MDE) has emerged as a pivotal task in computer vision, supporting numerous real-world applications. However, deploying accurate depth estimation models on resource-limited edge devices, especially Application-Specific Integrated Circuits (ASICs), is challenging due to the high computational and memory demands. Recent advancements in foundational depth estimation deliver impressive results but further amplify the difficulty of deployment on ASICs. To address this, we propose QuartDepth which adopts post-training quantization to quantize MDE models with hardware accelerations for ASICs. Our approach involves quantizing both weights and activations to 4-bit precision, reducing the model size and computation cost. To mitigate the performance degradation, we introduce activation polishing and compensation algorithm applied before and after activation quantization, as well as a weight reconstruction method for minimizing errors in weight quantization. Furthermore, we design a flexible and programmable hardware accelerator by supporting kernel fusion and customized instruction programmability, enhancing throughput and efficiency. Experimental results demonstrate that our framework achieves competitive accuracy while enabling fast inference and higher energy efficiency on ASICs, bridging the gap between high-performance depth estimation and practical edge-device applicability. Code: https://github.com/shawnricecake/quart-depth