LiVeAction: легковесная, универсальная и асимметричная архитектура нейронного кодека для работы в реальном времени

LiVeAction: a Lightweight, Versatile, and Asymmetric Neural Codec Design for Real-time Operation

May 7, 2026

Авторы: Dan Jacobellis, Neeraja J. Yadwadkar

cs.AI

Аннотация

Современные сенсоры генерируют богатые высококачественные данные, однако приложения, работающие на носимых устройствах или устройствах удаленного зондирования, остаются ограниченными пропускной способностью и энергопотреблением. Стандартизированные кодеки, такие как JPEG и MPEG, обеспечивают эффективный компромисс между битрейтом и перцептивным качеством, но ориентированы на человеческое восприятие, что ограничивает их применимость для задач машинного восприятия и нетрадиционных модальностей, таких как пространственные аудиомассивы, гиперспектральные изображения и 3D-медицинские изображения. Методы сжатия общего назначения, основанные на скалярном квантовании или снижении разрешения, широко применимы, но не позволяют использовать внутренние избыточности сигналов, что приводит к неоптимальной производительности по показателю скорость-искажение. Недавние генеративные нейрокодеки, или токенизаторы, моделируют сложные зависимости сигналов, но часто являются избыточно параметризованными, требовательными к данным и специфичными для модальности, что делает их непрактичными для сред с ограниченными ресурсами. Мы представляем архитектуру легкого, универсального и асимметричного нейрокодека (LiVeAction), которая устраняет эти ограничения с помощью двух ключевых идей. (1) Чтобы снизить сложность кодера для удовлетворения ресурсных ограничений сред выполнения, мы вводим структуру, подобную БПФ, и уменьшаем общий размер и глубину анализирующего преобразования на основе нейронной сети. (2) Для обеспечения произвольных модальностей сигналов и упрощения обучения мы заменяем состязательные и перцептивные потери штрафом за скорость на основе дисперсии. Наша конструкция позволяет создавать кодеки, которые обеспечивают превосходную производительность по показателю скорость-искажение по сравнению с современными генеративными токенизаторами, оставаясь при этом практичными для развертывания на маломощных сенсорах. Мы публикуем наш код, эксперименты и библиотеку Python на https://github.com/UT-SysML/liveaction.

English

Modern sensors generate rich, high-fidelity data, yet applications operating on wearable or remote sensing devices remain constrained by bandwidth and power budgets. Standardized codecs such as JPEG and MPEG achieve efficient trade-offs between bitrate and perceptual quality but are designed for human perception, limiting their applicability to machine-perception tasks and non-traditional modalities such as spatial audio arrays, hyperspectral images, and 3D medical images. General-purpose compression schemes based on scalar quantization or resolution reduction are broadly applicable but fail to exploit inherent signal redundancies, resulting in suboptimal rate-distortion performance. Recent generative neural codecs, or tokenizers, model complex signal dependencies but are often over-parameterized, data-hungry, and modality-specific, making them impractical for resource-constrained environments. We introduce a Lightweight, Versatile, and Asymmetric neural codec architecture (LiVeAction), that addresses these limitations through two key ideas. (1) To reduce the complexity of the encoder to meet the resource constraints of the execution environments, we impose an FFT-like structure and reduce the overall size and depth of the neural-network-based analysis transform. (2) To allow arbitrary signal modalities and simplify training, we replace adversarial and perceptual losses with a variance-based rate penalty. Our design produces codecs that deliver superior rate-distortion performance compared to state-of-the-art generative tokenizers, while remaining practical for deployment on low-power sensors. We release our code, experiments, and python library at https://github.com/UT-SysML/liveaction .