LiVeAction: un Diseño Ligero, Versátil y Asimétrico de Codec Neuronal para Operación en Tiempo Real

LiVeAction: a Lightweight, Versatile, and Asymmetric Neural Codec Design for Real-time Operation

May 7, 2026

Autores: Dan Jacobellis, Neeraja J. Yadwadkar

cs.AI

Resumen

Los sensores modernos generan datos ricos y de alta fidelidad, pero las aplicaciones que operan en dispositivos portátiles o de detección remota siguen limitadas por restricciones de ancho de banda y consumo energético. Los códecs estandarizados como JPEG y MPEG logran equilibrios eficientes entre tasa de bits y calidad perceptual, pero están diseñados para la percepción humana, lo que limita su aplicabilidad en tareas de percepción automática y modalidades no tradicionales como arreglos de audio espacial, imágenes hiperespectrales e imágenes médicas 3D. Los esquemas de compresión de propósito general basados en cuantización escalar o reducción de resolución son ampliamente aplicables, pero no aprovechan las redundancias inherentes de la señal, lo que resulta en un rendimiento subóptimo en la relación tasa-distorsión. Los códecs neuronales generativos recientes, o tokenizadores, modelan dependencias complejas de la señal, pero suelen estar sobreparametrizados, requieren grandes cantidades de datos y son específicos de modalidad, lo que los hace poco prácticos para entornos con recursos limitados. Presentamos una arquitectura de códec neuronal Ligero, Versátil y Asimétrico (LiVeAction), que aborda estas limitaciones mediante dos ideas clave. (1) Para reducir la complejidad del codificador y cumplir con las restricciones de recursos de los entornos de ejecución, imponemos una estructura similar a la FFT y reducimos el tamaño general y la profundidad de la transformación de análisis basada en redes neuronales. (2) Para permitir modalidades de señal arbitrarias y simplificar el entrenamiento, reemplazamos las pérdidas adversarias y perceptuales con una penalización de tasa basada en varianza. Nuestro diseño produce códecs que ofrecen un rendimiento superior en la relación tasa-distorsión en comparación con los tokenizadores generativos más avanzados, manteniéndose prácticos para su implementación en sensores de bajo consumo. Publicamos nuestro código, experimentos y biblioteca de Python en https://github.com/UT-SysML/liveaction.

English

Modern sensors generate rich, high-fidelity data, yet applications operating on wearable or remote sensing devices remain constrained by bandwidth and power budgets. Standardized codecs such as JPEG and MPEG achieve efficient trade-offs between bitrate and perceptual quality but are designed for human perception, limiting their applicability to machine-perception tasks and non-traditional modalities such as spatial audio arrays, hyperspectral images, and 3D medical images. General-purpose compression schemes based on scalar quantization or resolution reduction are broadly applicable but fail to exploit inherent signal redundancies, resulting in suboptimal rate-distortion performance. Recent generative neural codecs, or tokenizers, model complex signal dependencies but are often over-parameterized, data-hungry, and modality-specific, making them impractical for resource-constrained environments. We introduce a Lightweight, Versatile, and Asymmetric neural codec architecture (LiVeAction), that addresses these limitations through two key ideas. (1) To reduce the complexity of the encoder to meet the resource constraints of the execution environments, we impose an FFT-like structure and reduce the overall size and depth of the neural-network-based analysis transform. (2) To allow arbitrary signal modalities and simplify training, we replace adversarial and perceptual losses with a variance-based rate penalty. Our design produces codecs that deliver superior rate-distortion performance compared to state-of-the-art generative tokenizers, while remaining practical for deployment on low-power sensors. We release our code, experiments, and python library at https://github.com/UT-SysML/liveaction .