Treinamento Consciente de Quantização com Zero-shot Específico para Tarefas em Detecção de Objetos

Task-Specific Zero-shot Quantization-Aware Training for Object Detection

July 22, 2025

Autores: Changhao Li, Xinrui Chen, Ji Wang, Kang Zhao, Jianfei Chen

cs.AI

Resumo

A quantização é uma técnica fundamental para reduzir o tamanho da rede e a complexidade computacional, representando os parâmetros da rede com uma precisão inferior. Os métodos tradicionais de quantização dependem do acesso aos dados de treinamento originais, que muitas vezes são restritos devido a preocupações com privacidade ou desafios de segurança. A Quantização Zero-Shot (ZSQ) aborda essa limitação utilizando dados sintéticos gerados a partir de modelos pré-treinados, eliminando a necessidade de dados reais de treinamento. Recentemente, a ZSQ foi estendida para a detecção de objetos. No entanto, os métodos existentes utilizam imagens sintéticas não rotuladas e independentes da tarefa, que carecem das informações específicas necessárias para a detecção de objetos, resultando em desempenho subótimo. Neste artigo, propomos uma nova estrutura ZSQ específica para a tarefa de detecção de objetos, que consiste em duas etapas principais. Primeiro, introduzimos uma estratégia de amostragem de caixas delimitadoras e categorias para sintetizar um conjunto de calibração específico para a tarefa a partir da rede pré-treinada, reconstruindo as localizações, tamanhos e distribuições de categorias dos objetos sem qualquer conhecimento prévio. Segundo, integramos o treinamento específico da tarefa ao processo de destilação de conhecimento para restaurar o desempenho das redes de detecção quantizadas. Experimentos extensivos realizados nos conjuntos de dados MS-COCO e Pascal VOC demonstram a eficiência e o desempenho de ponta do nosso método. Nosso código está disponível publicamente em: https://github.com/DFQ-Dojo/dfq-toolkit.

English

Quantization is a key technique to reduce network size and computational complexity by representing the network parameters with a lower precision. Traditional quantization methods rely on access to original training data, which is often restricted due to privacy concerns or security challenges. Zero-shot Quantization (ZSQ) addresses this by using synthetic data generated from pre-trained models, eliminating the need for real training data. Recently, ZSQ has been extended to object detection. However, existing methods use unlabeled task-agnostic synthetic images that lack the specific information required for object detection, leading to suboptimal performance. In this paper, we propose a novel task-specific ZSQ framework for object detection networks, which consists of two main stages. First, we introduce a bounding box and category sampling strategy to synthesize a task-specific calibration set from the pre-trained network, reconstructing object locations, sizes, and category distributions without any prior knowledge. Second, we integrate task-specific training into the knowledge distillation process to restore the performance of quantized detection networks. Extensive experiments conducted on the MS-COCO and Pascal VOC datasets demonstrate the efficiency and state-of-the-art performance of our method. Our code is publicly available at: https://github.com/DFQ-Dojo/dfq-toolkit .