Étude empirique sur la quantification des modèles du monde
An Empirical Study of World Model Quantization
February 2, 2026
Auteurs: Zhongqian Fu, Tianyi Zhao, Kai Han, Hang Zhou, Xinghao Chen, Yunhe Wang
cs.AI
Résumé
Les modèles de monde apprennent une représentation interne de la dynamique de l'environnement, permettant aux agents de simuler et de raisonner sur les états futurs dans un espace latent compact pour des tâches telles que la planification, la prédiction et l'inférence. Cependant, l'exécution des modèles de monde repose sur un coût computationnel et une empreinte mémoire importants, rendant la quantification des modèles essentielle pour un déploiement efficace. À ce jour, les effets de la quantification post-entraînement (PTQ) sur les modèles de monde restent largement inexplorés. Dans ce travail, nous présentons une étude empirique systématique de la quantification des modèles de monde en utilisant DINO-WM comme cas représentatif, évaluant diverses méthodes PTQ dans des configurations de quantification des poids uniquement et conjointe poids-activations. Nous menons des expériences approfondies sur différentes tâches de planification visuelle couvrant une large gamme de précisions binaires, de granularités de quantification et d'horizons de planification allant jusqu'à 50 itérations. Nos résultats montrent que les effets de la quantification dans les modèles de monde vont au-delà des compromis standards entre précision et nombre de bits : la quantification groupée des poids peut stabiliser les déploiements en basse précision, la granularité de quantification des activations offre des bénéfices inconstants, et la sensibilité à la quantification est fortement asymétrique entre les modules encodeur et prédicteur. De plus, une quantification agressive en basse précision dégrade significativement l'alignement entre l'objectif de planification et la réussite de la tâche, entraînant des échecs qui ne peuvent être corrigés par une optimisation supplémentaire. Ces résultats révèlent des modes d'échec distincts induits par la quantification dans la planification basée sur les modèles de monde et fournissent des conseils pratiques pour le déploiement de modèles de monde quantifiés sous contraintes computationnelles strictes. Le code sera disponible à l'adresse https://github.com/huawei-noah/noah-research/tree/master/QuantWM.
English
World models learn an internal representation of environment dynamics, enabling agents to simulate and reason about future states within a compact latent space for tasks such as planning, prediction, and inference. However, running world models rely on hevay computational cost and memory footprint, making model quantization essential for efficient deployment. To date, the effects of post-training quantization (PTQ) on world models remain largely unexamined. In this work, we present a systematic empirical study of world model quantization using DINO-WM as a representative case, evaluating diverse PTQ methods under both weight-only and joint weight-activation settings. We conduct extensive experiments on different visual planning tasks across a wide range of bit-widths, quantization granularities, and planning horizons up to 50 iterations. Our results show that quantization effects in world models extend beyond standard accuracy and bit-width trade-offs: group-wise weight quantization can stabilize low-bit rollouts, activation quantization granularity yields inconsistent benefits, and quantization sensitivity is highly asymmetric between encoder and predictor modules. Moreover, aggressive low-bit quantization significantly degrades the alignment between the planning objective and task success, leading to failures that cannot be remedied by additional optimization. These findings reveal distinct quantization-induced failure modes in world model-based planning and provide practical guidance for deploying quantized world models under strict computational constraints. The code will be available at https://github.com/huawei-noah/noah-research/tree/master/QuantWM.