SEAOTTER : Autoencodage intégré aux capteurs avec transcodage unique pour une reconstruction efficace

Résumé

Dans les systèmes robotiques, de vastes quantités de données visuelles sont facilement capturées à haute résolution à l'aide de matériel peu coûteux et de faible puissance. Pourtant, la bande passante limitée et les ressources de calcul embarqué empêchent une utilisation complète lorsqu'elles sont transmises via des codecs conventionnels comme JPEG/MPEG. Les codecs plus récents, tels que AV1/AVIF, améliorent le compromis débit-distorsion, mais exigent beaucoup plus de ressources pour l'encodage, ce qui les rend impraticables sans ASIC dédiés. Les autoencodeurs asymétriques récents offrent une haute qualité sous des contraintes extrêmes de puissance et de bande passante, mais ajoutent un coût de décodage prohibitif et utilisent des formats propriétaires qui ignorent des décennies d'infrastructure construite autour de normes comme JPEG. Pour pallier ces limitations, nous introduisons un cadre de compression pour la robotique cloud basé sur un autoencodeur intégré au capteur associé à un transcodage unique pour une reconstruction efficace (SEAOTTER). Étant donné que les étapes du capteur, du cloud et du consommateur font face à des budgets de puissance et de bande passante très différents, SEAOTTER combine la compacité d'un latent appris avec la large utilisabilité d'un fichier JPEG standard. Comme un transcodage naïf dégrade les performances, nous proposons une transformation apprenable des couleurs et de la quantification JPEG, permettant une précision accrue pour la perception globale, dense et basée sur le langage visuel. Avec SEAOTTER, nous entraînons des pipelines de transcodage à la fois polyvalents et conscients de la tâche pour un encodeur pré-entraîné et figé. À un taux de compression de 200:1 et comparé à AVIF, nous observons un encodage 7 fois plus rapide, un décodage 3,5 fois plus rapide et une précision top-1 sur ImageNet améliorée de +8 %, tout en conservant la compatibilité avec l'infrastructure JPEG. Notre code est disponible sur https://github.com/UT-SysML/seaotter.

English

In robotics systems, vast amounts of visual data are easily captured at high resolution using low-cost, low-power hardware. Yet, limited bandwidth and on-device compute resources prevent full utilization when transmitted via conventional codecs like JPEG/MPEG. Newer codecs, like AV1/AVIF, improve the rate-distortion trade-off, but demand far more resources for encoding, impractical without custom ASICs. Recent asymmetric autoencoders deliver high quality under extreme power and bandwidth constraints, but add prohibitive decoding cost and use bespoke formats that ignore decades of infrastructure built around standards like JPEG. To address these limitations, we introduce a compression framework for cloud robotics based on a Sensor Embedded Autoencoder paired with a One-Time Transcode for Efficient Reconstruction (SEAOTTER). Because the sensor, cloud, and consumer stages face very different power and bandwidth budgets, SEAOTTER combines the compactness of a learned latent with the broad usability of a standard JPEG file. Since naive transcoding degrades performance, we propose a learnable JPEG color and quantization transform that enables increased accuracy for global, dense, and vision-language-based perception. Using SEAOTTER, we train both general-purpose and task-aware transcoding pipelines for a pre-trained, frozen encoder. At a compression ratio of 200:1 and compared to AVIF, we observe 7 times faster encoding, 3.5 times faster decoding, and +8% ImageNet top-1 accuracy, while retaining compatibility with JPEG infrastructure. Our code is available at https://github.com/UT-SysML/seaotter .