QuartDepth: Посттренировочная квантизация для оценки глубины в реальном времени на периферийных устройствах

QuartDepth: Post-Training Quantization for Real-Time Depth Estimation on the Edge

March 20, 2025

Авторы: Xuan Shen, Weize Ma, Jing Liu, Changdi Yang, Rui Ding, Quanyi Wang, Henghui Ding, Wei Niu, Yanzhi Wang, Pu Zhao, Jun Lin, Jiuxiang Gu

cs.AI

Аннотация

Монокулярное оценивание глубины (MDE) стало ключевой задачей в области компьютерного зрения, поддерживая множество реальных приложений. Однако развертывание точных моделей оценки глубины на устройствах с ограниченными ресурсами, особенно на специализированных интегральных схемах (ASIC), является сложной задачей из-за высоких требований к вычислительным ресурсам и памяти. Последние достижения в области базового оценивания глубины демонстрируют впечатляющие результаты, но еще больше усложняют развертывание на ASIC. Для решения этой проблемы мы предлагаем QuartDepth, который использует посттренировочное квантование для квантования моделей MDE с аппаратным ускорением для ASIC. Наш подход включает квантование как весов, так и активаций до 4-битной точности, что уменьшает размер модели и вычислительные затраты. Для снижения ухудшения производительности мы вводим алгоритм полировки и компенсации активаций, применяемый до и после квантования активаций, а также метод реконструкции весов для минимизации ошибок при квантовании весов. Кроме того, мы разрабатываем гибкий и программируемый аппаратный ускоритель, поддерживающий слияние ядер и программируемость пользовательских инструкций, что повышает пропускную способность и эффективность. Экспериментальные результаты показывают, что наш фреймворк достигает конкурентоспособной точности, обеспечивая быстрое выполнение и более высокую энергоэффективность на ASIC, сокращая разрыв между высокопроизводительным оцениванием глубины и практической применимостью на устройствах с ограниченными ресурсами. Код: https://github.com/shawnricecake/quart-depth

English

Monocular Depth Estimation (MDE) has emerged as a pivotal task in computer vision, supporting numerous real-world applications. However, deploying accurate depth estimation models on resource-limited edge devices, especially Application-Specific Integrated Circuits (ASICs), is challenging due to the high computational and memory demands. Recent advancements in foundational depth estimation deliver impressive results but further amplify the difficulty of deployment on ASICs. To address this, we propose QuartDepth which adopts post-training quantization to quantize MDE models with hardware accelerations for ASICs. Our approach involves quantizing both weights and activations to 4-bit precision, reducing the model size and computation cost. To mitigate the performance degradation, we introduce activation polishing and compensation algorithm applied before and after activation quantization, as well as a weight reconstruction method for minimizing errors in weight quantization. Furthermore, we design a flexible and programmable hardware accelerator by supporting kernel fusion and customized instruction programmability, enhancing throughput and efficiency. Experimental results demonstrate that our framework achieves competitive accuracy while enabling fast inference and higher energy efficiency on ASICs, bridging the gap between high-performance depth estimation and practical edge-device applicability. Code: https://github.com/shawnricecake/quart-depth