SEAOTTER: Встроенное в датчик автоэнкодирование с однократным транскодированием для эффективной реконструкции

Аннотация

В робототехнических системах большие объемы визуальных данных легко захватываются с высоким разрешением с помощью недорогого маломощного оборудования. Однако ограниченная пропускная способность и вычислительные ресурсы на устройстве препятствуют полному их использованию при передаче с помощью традиционных кодеков, таких как JPEG/MPEG. Новые кодеки, такие как AV1/AVIF, улучшают компромисс между степенью сжатия и искажениями, но требуют значительно больше ресурсов для кодирования, что непрактично без специализированных ASIC. Недавние асимметричные автоэнкодеры обеспечивают высокое качество в условиях экстремальных ограничений по энергопотреблению и пропускной способности, но добавляют запретительно высокую стоимость декодирования и используют специализированные форматы, игнорирующие десятилетия инфраструктуры, построенной вокруг таких стандартов, как JPEG. Для решения этих ограничений мы представляем фреймворк сжатия для облачной робототехники, основанный на сенсорном встроенном автоэнкодере в сочетании с однократным перекодированием для эффективного восстановления (SEAOTTER). Поскольку этапы сенсора, облака и потребителя имеют сильно различающиеся бюджеты по энергопотреблению и пропускной способности, SEAOTTER объединяет компактность изученного скрытого представления с широкой применимостью стандартного файла JPEG. Поскольку наивное перекодирование ухудшает производительность, мы предлагаем обучаемое преобразование цвета и квантования JPEG, которое позволяет повысить точность для глобального, плотного и основанного на зрении и языке восприятия. С помощью SEAOTTER мы обучаем как конвейеры перекодирования общего назначения, так и с учетом задачи для предварительно обученного замороженного энкодера. При коэффициенте сжатия 200:1 и по сравнению с AVIF мы наблюдаем в 7 раз более быстрое кодирование, в 3,5 раза более быстрое декодирование и увеличение точности top-1 на ImageNet на +8%, сохраняя при этом совместимость с инфраструктурой JPEG. Наш код доступен по адресу https://github.com/UT-SysML/seaotter .

English

In robotics systems, vast amounts of visual data are easily captured at high resolution using low-cost, low-power hardware. Yet, limited bandwidth and on-device compute resources prevent full utilization when transmitted via conventional codecs like JPEG/MPEG. Newer codecs, like AV1/AVIF, improve the rate-distortion trade-off, but demand far more resources for encoding, impractical without custom ASICs. Recent asymmetric autoencoders deliver high quality under extreme power and bandwidth constraints, but add prohibitive decoding cost and use bespoke formats that ignore decades of infrastructure built around standards like JPEG. To address these limitations, we introduce a compression framework for cloud robotics based on a Sensor Embedded Autoencoder paired with a One-Time Transcode for Efficient Reconstruction (SEAOTTER). Because the sensor, cloud, and consumer stages face very different power and bandwidth budgets, SEAOTTER combines the compactness of a learned latent with the broad usability of a standard JPEG file. Since naive transcoding degrades performance, we propose a learnable JPEG color and quantization transform that enables increased accuracy for global, dense, and vision-language-based perception. Using SEAOTTER, we train both general-purpose and task-aware transcoding pipelines for a pre-trained, frozen encoder. At a compression ratio of 200:1 and compared to AVIF, we observe 7 times faster encoding, 3.5 times faster decoding, and +8% ImageNet top-1 accuracy, while retaining compatibility with JPEG infrastructure. Our code is available at https://github.com/UT-SysML/seaotter .