LiVeAction: um design leve, versátil e assimétrico de codec neural para operação em tempo real

Resumo

Sensores modernos geram dados ricos e de alta fidelidade, mas aplicações em dispositivos vestíveis ou sensoriamento remoto permanecem limitadas por restrições de largura de banda e orçamento energético. Codecs padronizados como JPEG e MPEG alcançam compromissos eficientes entre taxa de bits e qualidade perceptual, porém são projetados para a percepção humana, o que limita sua aplicabilidade a tarefas de percepção por máquina e modalidades não tradicionais, como arranjos de áudio espacial, imagens hiperespectrais e imagens médicas 3D. Esquemas de compressão de propósito geral baseados em quantização escalar ou redução de resolução são amplamente aplicáveis, mas não exploram redundâncias inerentes ao sinal, resultando em desempenho taxa-distorção subótimo. Codecs neurais generativos recentes, ou tokenizadores, modelam dependências complexas do sinal, mas frequentemente são superparametrizados, exigentes em dados e específicos para modalidades, tornando-os impraticáveis para ambientes com recursos limitados. Apresentamos a arquitetura de codec neural Leve, Versátil e Assimétrica (LiVeAction), que aborda essas limitações por meio de duas ideias-chave: (1) para reduzir a complexidade do codificador e atender às restrições de recursos dos ambientes de execução, impomos uma estrutura semelhante à FFT e reduzimos o tamanho geral e a profundidade da transformada de análise baseada em redes neurais; (2) para permitir modalidades arbitrárias de sinal e simplificar o treinamento, substituímos perdas adversariais e perceptuais por uma penalidade de taxa baseada em variância. Nosso projeto produz codecs que oferecem desempenho taxa-distorção superior em comparação com tokenizadores generativos de última geração, mantendo-se práticos para implantação em sensores de baixa potência. Disponibilizamos nosso código, experimentos e biblioteca Python em https://github.com/UT-SysML/liveaction.

English

Modern sensors generate rich, high-fidelity data, yet applications operating on wearable or remote sensing devices remain constrained by bandwidth and power budgets. Standardized codecs such as JPEG and MPEG achieve efficient trade-offs between bitrate and perceptual quality but are designed for human perception, limiting their applicability to machine-perception tasks and non-traditional modalities such as spatial audio arrays, hyperspectral images, and 3D medical images. General-purpose compression schemes based on scalar quantization or resolution reduction are broadly applicable but fail to exploit inherent signal redundancies, resulting in suboptimal rate-distortion performance. Recent generative neural codecs, or tokenizers, model complex signal dependencies but are often over-parameterized, data-hungry, and modality-specific, making them impractical for resource-constrained environments. We introduce a Lightweight, Versatile, and Asymmetric neural codec architecture (LiVeAction), that addresses these limitations through two key ideas. (1) To reduce the complexity of the encoder to meet the resource constraints of the execution environments, we impose an FFT-like structure and reduce the overall size and depth of the neural-network-based analysis transform. (2) To allow arbitrary signal modalities and simplify training, we replace adversarial and perceptual losses with a variance-based rate penalty. Our design produces codecs that deliver superior rate-distortion performance compared to state-of-the-art generative tokenizers, while remaining practical for deployment on low-power sensors. We release our code, experiments, and python library at https://github.com/UT-SysML/liveaction .