デバイス上でのセマンティックオーディオ生成のための量子化ネイティブランタイム

要旨

セマンティックオーディオアプリケーションでは、フレームワークに依存したデータセンタースタックではなく、民生用および組み込みハードウェア上での制御可能な生成がますます求められている。本稿では、依存関係のないネイティブランタイムであるariaを提案する。これは、Stable Audio~3（SA3）のテキストから音楽へのパイプライン全体を、通常のGPU、CPU専用マシン、Raspberry~Pi~5上で、Pythonや深層学習フレームワークを介さずに実行する。我々の主な貢献は量子化の研究である。すなわち、モデルを低い数値精度で動作させて厳しいメモリ制約に適合させ、メモリを追加するのではなく、その場で節約する。ランタイムがすべての内部テンソルを所有するため、アクティベーションステアリングも公開される。これは、モデルの生成内容を低コストで操作する方法である。出力の品質コストを、プロンプトへの忠実性、全体的なオーディオ品質、テイスト保存の3つの独立した尺度で評価し、それぞれをランダムシード間の通常の変動と比較する。8ビット精度では、メモリを大幅に削減しながらも、いずれの尺度でも測定可能な品質低下は見られず、GPU上で最速のモードとなる。4ビットでは、小さく限定的なコストが生じるが、1.2億パラメータモデルを8GBのPi上で動作させるのに十分なフットプリント縮小を実現する。公式実装と比較して、ariaは生成速度で同等以上であり、起動時間は約7倍高速である。ステアリングインターフェースのケーススタディでは、テイストの連想（ソニックシーズニング）を伴う音楽を生成し、一部の属性に対して本格的でありながら限定された制御を実現する。これらの結果は、組み込み制御機能を備えたコンパクトで量子化されたランタイムが、Internet-of-Sounds環境におけるオンデバイスセマンティックオーディオの実用的な基盤となることを示している。ariaランタイムはhttps://github.com/matteospanio/ariaで公開されている。

English

Semantic audio applications increasingly require controllable generation on commodity and embedded hardware rather than through framework-heavy datacenter stacks. We present aria, a dependency-free native runtime that runs the complete text-to-music pipeline of Stable Audio~3 (SA3) on ordinary GPUs, CPU-only machines, and a Raspberry~Pi~5, with no Python or deep-learning framework underneath. Our main contribution is a study of quantization: running the model at lower numerical precision to fit tight memory budgets, saving memory in place rather than adding to it. Because the runtime owns every internal tensor, it also exposes activation steering, a low-cost way to steer what the model generates. We judge the quality cost with three independent measures of the output (prompt adherence, overall audio quality, taste preservation), each compared against the ordinary variation between random seeds. Eight-bit precision shows no measurable quality loss on any measure while sharply cutting memory, and it is the fastest mode on the GPU; four-bit adds a small, bounded cost but shrinks the footprint enough to run the 1.2-billion-parameter model on an 8\,GB Pi. Against the official implementation, aria matches or exceeds generation speed and starts about seven times faster. A case study of the steering interface generates music carrying taste associations (sonic seasoning), with genuine but bounded control for a subset of attributes. These results make a compact, quantized runtime with built-in control a practical basis for on-device semantic audio in Internet-of-Sounds settings. The aria runtime is released at https://github.com/matteospanio/aria.