Eine quantisierte native Runtime für geräteinterne semantische Audioerzeugung

Zusammenfassung

Semantische Audioanwendungen erfordern zunehmend kontrollierbare Generierung auf handelsüblicher und eingebetteter Hardware anstatt auf framework-lastigen Rechenzentrums-Stacks. Wir stellen aria vor, eine abhängigkeitsfreie native Laufzeitumgebung, die die vollständige Text-zu-Musik-Pipeline von Stable Audio~3 (SA3) auf gewöhnlichen GPUs, reinen CPU-Systemen und einem Raspberry~Pi~5 ausführt – ohne Python oder Deep-Learning-Framework darunter. Unser Hauptbeitrag ist eine Untersuchung der Quantisierung: Das Modell wird mit niedrigerer numerischer Genauigkeit betrieben, um enge Speicherbudgets einzuhalten, wobei Speicher direkt eingespart und nicht hinzugefügt wird. Da die Laufzeitumgebung jeden internen Tensor besitzt, ermöglicht sie zudem Activation Steering, eine kostengünstige Methode zur Steuerung der Modellgenerierung. Wir bewerten die Qualitätseinbußen mit drei unabhängigen Metriken der Ausgabe (Prompt-Treue, allgemeine Audioqualität, Geschmackserhaltung), jede verglichen mit der gewöhnlichen Variation zwischen verschiedenen Zufallskeimen. Acht-Bit-Präzision zeigt bei keiner Metrik messbare Qualitätseinbußen bei gleichzeitig drastischer Speicherreduktion und ist der schnellste Modus auf der GPU; Vier-Bit fügt eine kleine, begrenzte Kosten hinzu, reduziert aber den Speicherbedarf so weit, dass das 1,2-Milliarden-Parameter-Modell auf einem 8-GB-Pi läuft. Gegenüber der offiziellen Implementierung erreicht oder übertrifft aria die Generierungsgeschwindigkeit und startet etwa siebenmal schneller. Eine Fallstudie der Steuerungsschnittstelle erzeugt Musik, die Geschmacksassoziationen trägt (sonic seasoning), mit echter, aber begrenzter Kontrolle über eine Teilmenge von Attributen. Diese Ergebnisse machen eine kompakte, quantisierte Laufzeitumgebung mit integrierter Steuerung zu einer praktischen Grundlage für On-Device semantisches Audio in Internet-of-Sounds-Umgebungen. Die aria-Laufzeitumgebung wird unter https://github.com/matteospanio/aria veröffentlicht.

English

Semantic audio applications increasingly require controllable generation on commodity and embedded hardware rather than through framework-heavy datacenter stacks. We present aria, a dependency-free native runtime that runs the complete text-to-music pipeline of Stable Audio~3 (SA3) on ordinary GPUs, CPU-only machines, and a Raspberry~Pi~5, with no Python or deep-learning framework underneath. Our main contribution is a study of quantization: running the model at lower numerical precision to fit tight memory budgets, saving memory in place rather than adding to it. Because the runtime owns every internal tensor, it also exposes activation steering, a low-cost way to steer what the model generates. We judge the quality cost with three independent measures of the output (prompt adherence, overall audio quality, taste preservation), each compared against the ordinary variation between random seeds. Eight-bit precision shows no measurable quality loss on any measure while sharply cutting memory, and it is the fastest mode on the GPU; four-bit adds a small, bounded cost but shrinks the footprint enough to run the 1.2-billion-parameter model on an 8\,GB Pi. Against the official implementation, aria matches or exceeds generation speed and starts about seven times faster. A case study of the steering interface generates music carrying taste associations (sonic seasoning), with genuine but bounded control for a subset of attributes. These results make a compact, quantized runtime with built-in control a practical basis for on-device semantic audio in Internet-of-Sounds settings. The aria runtime is released at https://github.com/matteospanio/aria.