SEAOTTER: Auto-Codificación Embebida en Sensores con Transcodificación Única para Reconstrucción Eficiente

Resumen

En los sistemas robóticos, se capturan fácilmente grandes cantidades de datos visuales en alta resolución utilizando hardware de bajo costo y bajo consumo energético. Sin embargo, el ancho de banda limitado y los recursos de cómputo en el dispositivo impiden su aprovechamiento completo cuando se transmiten mediante códecs convencionales como JPEG/MPEG. Códecs más recientes, como AV1/AVIF, mejoran la relación tasa-distorsión, pero exigen muchos más recursos para la codificación, lo que resulta inviable sin ASICs personalizados. Los autoencodificadores asimétricos recientes ofrecen alta calidad bajo restricciones extremas de energía y ancho de banda, pero añaden un costo de decodificación prohibitivo y utilizan formatos hechos a medida que ignoran décadas de infraestructura construida en torno a estándares como JPEG. Para abordar estas limitaciones, presentamos un marco de compresión para robótica en la nube basado en un Autoencodificador Integrado en el Sensor emparejado con una Transcódificación Única para Reconstrucción Eficiente (SEAOTTER). Dado que las etapas del sensor, la nube y el consumidor enfrentan presupuestos de energía y ancho de banda muy diferentes, SEAOTTER combina la compacidad de un latente aprendido con la usabilidad generalizada de un archivo JPEG estándar. Dado que la transcodificación ingenua degrada el rendimiento, proponemos una transformación de color y cuantización JPEG aprendible que permite una mayor precisión para la percepción global, densa y basada en visión-lenguaje. Utilizando SEAOTTER, entrenamos pipelines de transcodificación tanto de propósito general como conscientes de la tarea para un codificador preentrenado y congelado. Con una relación de compresión de 200:1 y en comparación con AVIF, observamos una codificación 7 veces más rápida, una decodificación 3,5 veces más rápida y una precisión top-1 en ImageNet un 8% mayor, manteniendo la compatibilidad con la infraestructura JPEG. Nuestro código está disponible en https://github.com/UT-SysML/seaotter .

English

In robotics systems, vast amounts of visual data are easily captured at high resolution using low-cost, low-power hardware. Yet, limited bandwidth and on-device compute resources prevent full utilization when transmitted via conventional codecs like JPEG/MPEG. Newer codecs, like AV1/AVIF, improve the rate-distortion trade-off, but demand far more resources for encoding, impractical without custom ASICs. Recent asymmetric autoencoders deliver high quality under extreme power and bandwidth constraints, but add prohibitive decoding cost and use bespoke formats that ignore decades of infrastructure built around standards like JPEG. To address these limitations, we introduce a compression framework for cloud robotics based on a Sensor Embedded Autoencoder paired with a One-Time Transcode for Efficient Reconstruction (SEAOTTER). Because the sensor, cloud, and consumer stages face very different power and bandwidth budgets, SEAOTTER combines the compactness of a learned latent with the broad usability of a standard JPEG file. Since naive transcoding degrades performance, we propose a learnable JPEG color and quantization transform that enables increased accuracy for global, dense, and vision-language-based perception. Using SEAOTTER, we train both general-purpose and task-aware transcoding pipelines for a pre-trained, frozen encoder. At a compression ratio of 200:1 and compared to AVIF, we observe 7 times faster encoding, 3.5 times faster decoding, and +8% ImageNet top-1 accuracy, while retaining compatibility with JPEG infrastructure. Our code is available at https://github.com/UT-SysML/seaotter .