Een gekwantiseerde native runtime voor semantische audiogeneratie op het apparaat

Samenvatting

Semantische audiotoepassingen vereisen in toenemende mate controleerbare generatie op gangbare en ingebedde hardware, in plaats van via raamwerk-intensieve datacenterstacks. We presenteren aria, een afhankelijkheidsvrije native runtime die de volledige tekst-naar-muziekpijplijn van Stable Audio~3 (SA3) uitvoert op gewone GPU's, CPU-only machines en een Raspberry~Pi~5, zonder Python of deep learning-raamwerk eronder. Onze belangrijkste bijdrage is een studie naar kwantisatie: het model op lagere numerieke precisie draaien om te voldoen aan krappe geheugenbudgetten, waarbij geheugen op dezelfde plek wordt bespaard in plaats van toegevoegd. Omdat de runtime eigenaar is van elke interne tensor, biedt deze ook activeringsturing, een goedkope manier om te sturen wat het model genereert. We beoordelen de kwaliteitskost met drie onafhankelijke maten van de uitvoer (prompttrouw, algehele audiokwaliteit, smaakbehoud), elk vergeleken met de gebruikelijke variatie tussen willekeurige seeds. Acht-bit precisie vertoont geen meetbaar kwaliteitsverlies op welke maat dan ook, terwijl het geheugen drastisch wordt verminderd, en het is de snelste modus op de GPU; vier-bit voegt een kleine, begrensde kost toe, maar verkleint de voetafdruk genoeg om het model met 1,2 miljard parameters te draaien op een 8\,GB Pi. Vergeleken met de officiële implementatie evenaart of overtreft aria de generatiesnelheid en start ongeveer zeven keer sneller. Een casestudy van de sturingsinterface genereert muziek met smaakassociaties (sonische kruiding), met echte maar begrensde controle over een subset van attributen. Deze resultaten maken van een compacte, gekwantiseerde runtime met ingebouwde controle een praktische basis voor on-device semantische audio in Internet-of-Geluiden-omgevingen. De aria runtime is uitgebracht op https://github.com/matteospanio/aria.

English

Semantic audio applications increasingly require controllable generation on commodity and embedded hardware rather than through framework-heavy datacenter stacks. We present aria, a dependency-free native runtime that runs the complete text-to-music pipeline of Stable Audio~3 (SA3) on ordinary GPUs, CPU-only machines, and a Raspberry~Pi~5, with no Python or deep-learning framework underneath. Our main contribution is a study of quantization: running the model at lower numerical precision to fit tight memory budgets, saving memory in place rather than adding to it. Because the runtime owns every internal tensor, it also exposes activation steering, a low-cost way to steer what the model generates. We judge the quality cost with three independent measures of the output (prompt adherence, overall audio quality, taste preservation), each compared against the ordinary variation between random seeds. Eight-bit precision shows no measurable quality loss on any measure while sharply cutting memory, and it is the fastest mode on the GPU; four-bit adds a small, bounded cost but shrinks the footprint enough to run the 1.2-billion-parameter model on an 8\,GB Pi. Against the official implementation, aria matches or exceeds generation speed and starts about seven times faster. A case study of the steering interface generates music carrying taste associations (sonic seasoning), with genuine but bounded control for a subset of attributes. These results make a compact, quantized runtime with built-in control a practical basis for on-device semantic audio in Internet-of-Sounds settings. The aria runtime is released at https://github.com/matteospanio/aria.