QuartDepth: Post-Trainingskwantisatie voor real-time diepteschatting aan de rand van het netwerk

QuartDepth: Post-Training Quantization for Real-Time Depth Estimation on the Edge

March 20, 2025

Auteurs: Xuan Shen, Weize Ma, Jing Liu, Changdi Yang, Rui Ding, Quanyi Wang, Henghui Ding, Wei Niu, Yanzhi Wang, Pu Zhao, Jun Lin, Jiuxiang Gu

cs.AI

Samenvatting

Monoculaire diepteschatting (MDE) is uitgegroeid tot een cruciale taak in computervisie, die talrijke real-world toepassingen ondersteunt. Het implementeren van nauwkeurige diepteschattingsmodellen op resourcebeperkte edge-apparaten, met name Application-Specific Integrated Circuits (ASICs), is echter uitdagend vanwege de hoge reken- en geheugeneisen. Recente vooruitgang in fundamentele diepteschatting levert indrukwekkende resultaten op, maar vergroot de moeilijkheid van implementatie op ASICs verder. Om dit aan te pakken, stellen we QuartDepth voor, dat post-training kwantisatie gebruikt om MDE-modellen te kwantiseren met hardwareversnellingen voor ASICs. Onze aanpak omvat het kwantiseren van zowel gewichten als activaties naar 4-bit precisie, waardoor de modelgrootte en rekenkosten worden verminderd. Om de prestatievermindering te beperken, introduceren we een activatiepolijst- en compensatiealgoritme dat wordt toegepast voor en na activatiekwantisatie, evenals een gewichtsreconstructiemethode om fouten in gewichtskwantisatie te minimaliseren. Bovendien ontwerpen we een flexibele en programmeerbare hardwareversneller door kernel-fusie en aangepaste instructieprogrammeerbaarheid te ondersteunen, waardoor de doorvoer en efficiëntie worden verbeterd. Experimentele resultaten tonen aan dat ons framework competitieve nauwkeurigheid bereikt terwijl het snelle inferentie en hogere energie-efficiëntie op ASICs mogelijk maakt, waardoor de kloof tussen hoogwaardige diepteschatting en praktische toepasbaarheid op edge-apparaten wordt overbrugd. Code: https://github.com/shawnricecake/quart-depth

English

Monocular Depth Estimation (MDE) has emerged as a pivotal task in computer vision, supporting numerous real-world applications. However, deploying accurate depth estimation models on resource-limited edge devices, especially Application-Specific Integrated Circuits (ASICs), is challenging due to the high computational and memory demands. Recent advancements in foundational depth estimation deliver impressive results but further amplify the difficulty of deployment on ASICs. To address this, we propose QuartDepth which adopts post-training quantization to quantize MDE models with hardware accelerations for ASICs. Our approach involves quantizing both weights and activations to 4-bit precision, reducing the model size and computation cost. To mitigate the performance degradation, we introduce activation polishing and compensation algorithm applied before and after activation quantization, as well as a weight reconstruction method for minimizing errors in weight quantization. Furthermore, we design a flexible and programmable hardware accelerator by supporting kernel fusion and customized instruction programmability, enhancing throughput and efficiency. Experimental results demonstrate that our framework achieves competitive accuracy while enabling fast inference and higher energy efficiency on ASICs, bridging the gap between high-performance depth estimation and practical edge-device applicability. Code: https://github.com/shawnricecake/quart-depth