SEAOTTER: Sensor-ingebedde auto-encodering met eenmalige transcodering voor efficiënte reconstructie

Samenvatting

In robotsystemen worden grote hoeveelheden visuele data eenvoudig vastgelegd met hoge resolutie met behulp van goedkope, energiezuinige hardware. Toch voorkomen beperkte bandbreedte en rekenbronnen op het apparaat volledige benutting bij verzending via conventionele codecs zoals JPEG/MPEG. Nieuwere codecs, zoals AV1/AVIF, verbeteren de snelheid-vervorming afweging, maar vereisen veel meer bronnen voor codering, wat onpraktisch is zonder aangepaste ASICs. Recente asymmetrische auto-encoders leveren hoge kwaliteit onder extreme energie- en bandbreedtebeperkingen, maar brengen onbetaalbare decoderingskosten met zich mee en gebruiken op maat gemaakte formaten die voorbijgaan aan decennia aan infrastructuur rond standaarden zoals JPEG. Om deze beperkingen aan te pakken, introduceren we een compressieraamwerk voor cloudrobotica, gebaseerd op een sensor-ingebedde auto-encoder, gekoppeld aan een eenmalige transcodering voor efficiënte reconstructie (SEAOTTER). Omdat de sensor-, cloud- en consumentenfases zeer verschillende energie- en bandbreedtebudgetten hebben, combineert SEAOTTER de compactheid van een geleerde latente representatie met de brede bruikbaarheid van een standaard JPEG-bestand. Omdat naïeve transcodering de prestaties verslechtert, stellen we een leerbare JPEG-kleuren- en kwantiseringstransformatie voor die een verhoogde nauwkeurigheid mogelijk maakt voor globale, dichte en op visie-taal gebaseerde perceptie. Met SEAOTTER trainen we zowel algemene als taakbewuste transcoderingspijplijnen voor een voorgetrainde, bevroren encoder. Bij een compressieverhouding van 200:1 en vergeleken met AVIF, observeren we 7 keer snellere codering, 3,5 keer snellere decodering en +8% ImageNet top-1 nauwkeurigheid, terwijl compatibiliteit met JPEG-infrastructuur behouden blijft. Onze code is beschikbaar op https://github.com/UT-SysML/seaotter.

English

In robotics systems, vast amounts of visual data are easily captured at high resolution using low-cost, low-power hardware. Yet, limited bandwidth and on-device compute resources prevent full utilization when transmitted via conventional codecs like JPEG/MPEG. Newer codecs, like AV1/AVIF, improve the rate-distortion trade-off, but demand far more resources for encoding, impractical without custom ASICs. Recent asymmetric autoencoders deliver high quality under extreme power and bandwidth constraints, but add prohibitive decoding cost and use bespoke formats that ignore decades of infrastructure built around standards like JPEG. To address these limitations, we introduce a compression framework for cloud robotics based on a Sensor Embedded Autoencoder paired with a One-Time Transcode for Efficient Reconstruction (SEAOTTER). Because the sensor, cloud, and consumer stages face very different power and bandwidth budgets, SEAOTTER combines the compactness of a learned latent with the broad usability of a standard JPEG file. Since naive transcoding degrades performance, we propose a learnable JPEG color and quantization transform that enables increased accuracy for global, dense, and vision-language-based perception. Using SEAOTTER, we train both general-purpose and task-aware transcoding pipelines for a pre-trained, frozen encoder. At a compression ratio of 200:1 and compared to AVIF, we observe 7 times faster encoding, 3.5 times faster decoding, and +8% ImageNet top-1 accuracy, while retaining compatibility with JPEG infrastructure. Our code is available at https://github.com/UT-SysML/seaotter .