LiVeAction: ein leichtgewichtiges, vielseitiges und asymmetrisches neuronales Codec-Design für den Echtzeitbetrieb
LiVeAction: a Lightweight, Versatile, and Asymmetric Neural Codec Design for Real-time Operation
May 7, 2026
Autoren: Dan Jacobellis, Neeraja J. Yadwadkar
cs.AI
Zusammenfassung
Moderne Sensoren erzeugen reichhaltige, hochauflösende Daten, doch Anwendungen auf tragbaren oder ferngesteuerten Sensoren bleiben durch Bandbreiten- und Energiebudgets eingeschränkt. Standardisierte Codecs wie JPEG und MPEG erzielen effiziente Kompromisse zwischen Bitrate und Wahrnehmungsqualität, sind jedoch für die menschliche Wahrnehmung ausgelegt, was ihre Anwendbarkeit auf maschinelle Wahrnehmungsaufgaben und unkonventionelle Modalitäten wie räumliche Audio-Arrays, hyperspektrale Bilder und 3D-Medizinbilder einschränkt. Allgemeine Komprimierungsschemata auf Basis skalarer Quantisierung oder Auflösungsreduktion sind breit anwendbar, nutzen aber inhärente Signalredundanzen nicht aus, was zu suboptimaler Rate-Distortion-Leistung führt. Neuere generative neuronale Codecs oder Tokenisierer modellieren komplexe Signalabhängigkeiten, sind jedoch oft überparametrisiert, datenhungrig und modalitätsspezifisch, was sie für ressourcenbeschränkte Umgebungen unpraktikabel macht. Wir stellen eine leichte, vielseitige und asymmetrische neuronale Codec-Architektur (LiVeAction) vor, die diese Einschränkungen durch zwei Schlüsselideen adressiert. (1) Um die Komplexität des Encoders zu reduzieren und den Ressourcenbeschränkungen der Ausführungsumgebungen gerecht zu werden, legen wir eine FFT-ähnliche Struktur zugrunde und verringern die Gesamtgröße und -tiefe des neuronalen Analyse-Transforms. (2) Um beliebige Signalmodalitäten zu ermöglichen und das Training zu vereinfachen, ersetzen wir adversarielle und perzeptuelle Verlustfunktionen durch eine varianzbasierte Ratenstrafe. Unser Entwurf erzeugt Codecs, die im Vergleich zu modernsten generativen Tokenisierern eine überlegene Rate-Distortion-Leistung liefern, während sie für den Einsatz auf energiearmen Sensoren praktikabel bleiben. Wir veröffentlichen unseren Code, die Experimente und die Python-Bibliothek unter https://github.com/UT-SysML/liveaction.
English
Modern sensors generate rich, high-fidelity data, yet applications operating on wearable or remote sensing devices remain constrained by bandwidth and power budgets. Standardized codecs such as JPEG and MPEG achieve efficient trade-offs between bitrate and perceptual quality but are designed for human perception, limiting their applicability to machine-perception tasks and non-traditional modalities such as spatial audio arrays, hyperspectral images, and 3D medical images. General-purpose compression schemes based on scalar quantization or resolution reduction are broadly applicable but fail to exploit inherent signal redundancies, resulting in suboptimal rate-distortion performance. Recent generative neural codecs, or tokenizers, model complex signal dependencies but are often over-parameterized, data-hungry, and modality-specific, making them impractical for resource-constrained environments. We introduce a Lightweight, Versatile, and Asymmetric neural codec architecture (LiVeAction), that addresses these limitations through two key ideas. (1) To reduce the complexity of the encoder to meet the resource constraints of the execution environments, we impose an FFT-like structure and reduce the overall size and depth of the neural-network-based analysis transform. (2) To allow arbitrary signal modalities and simplify training, we replace adversarial and perceptual losses with a variance-based rate penalty. Our design produces codecs that deliver superior rate-distortion performance compared to state-of-the-art generative tokenizers, while remaining practical for deployment on low-power sensors. We release our code, experiments, and python library at https://github.com/UT-SysML/liveaction .