LiVeAction: een lichtgewicht, veelzijdig en asymmetrisch neuraal codec-ontwerp voor real-time werking

Samenvatting

Moderne sensoren genereren rijke, hifi-data, maar toepassingen die draaien op draagbare of afstandsmeetapparatuur blijven beperkt door bandbreedte- en energiebudgetten. Gestandaardiseerde codecs zoals JPEG en MPEG realiseren efficiënte afwegingen tussen bitsnelheid en perceptuele kwaliteit, maar zijn ontworpen voor menselijke perceptie, wat hun toepasbaarheid beperkt voor machineperceptietaken en niet-traditionele modaliteiten zoals ruimtelijke audio-arrays, hyperspectrale beelden en 3D-medische beelden. Algemene compressieschema's gebaseerd op scalaire kwantisatie of resolutievermindering zijn breed toepasbaar, maar slagen er niet in inherente signaalredundanties te benutten, wat leidt tot suboptimale snelheid-vervormingsprestaties. Recente generatieve neurale codecs, of tokenizers, modelleren complexe signaalafhankelijkheden, maar zijn vaak overgeparametriseerd, datahongerig en modaliteitsspecifiek, waardoor ze onpraktisch zijn voor omgevingen met beperkte middelen. We introduceren een Lichtgewicht, Veelzijdige en Asymmetrische neurale codecarchitectuur (LiVeAction), die deze beperkingen aanpakt met twee kernideeën. (1) Om de complexiteit van de encoder te verminderen en te voldoen aan de resourcebeperkingen van de uitvoeringsomgevingen, leggen we een FFT-achtige structuur op en verkleinen we de totale omvang en diepte van de op een neuraal netwerk gebaseerde analysetransformatie. (2) Om willekeurige signaalmodaliteiten mogelijk te maken en training te vereenvoudigen, vervangen we adversariële en perceptuele verliezen door een op variantie gebaseerde snelheidsstraf. Ons ontwerp produceert codecs die superieure snelheid-vervormingsprestaties leveren in vergelijking met state-of-the-art generatieve tokenizers, terwijl ze praktisch blijven voor implementatie op laagvermogenssensoren. We publiceren onze code, experimenten en Python-bibliotheek op https://github.com/UT-SysML/liveaction.

English

Modern sensors generate rich, high-fidelity data, yet applications operating on wearable or remote sensing devices remain constrained by bandwidth and power budgets. Standardized codecs such as JPEG and MPEG achieve efficient trade-offs between bitrate and perceptual quality but are designed for human perception, limiting their applicability to machine-perception tasks and non-traditional modalities such as spatial audio arrays, hyperspectral images, and 3D medical images. General-purpose compression schemes based on scalar quantization or resolution reduction are broadly applicable but fail to exploit inherent signal redundancies, resulting in suboptimal rate-distortion performance. Recent generative neural codecs, or tokenizers, model complex signal dependencies but are often over-parameterized, data-hungry, and modality-specific, making them impractical for resource-constrained environments. We introduce a Lightweight, Versatile, and Asymmetric neural codec architecture (LiVeAction), that addresses these limitations through two key ideas. (1) To reduce the complexity of the encoder to meet the resource constraints of the execution environments, we impose an FFT-like structure and reduce the overall size and depth of the neural-network-based analysis transform. (2) To allow arbitrary signal modalities and simplify training, we replace adversarial and perceptual losses with a variance-based rate penalty. Our design produces codecs that deliver superior rate-distortion performance compared to state-of-the-art generative tokenizers, while remaining practical for deployment on low-power sensors. We release our code, experiments, and python library at https://github.com/UT-SysML/liveaction .