온디바이스 의미론적 오디오 생성을 위한 양자화된 네이티브 런타임

초록

의미론적 오디오 애플리케이션은 점차 프레임워크 중심의 데이터센터 스택보다 일반 하드웨어 및 임베디드 하드웨어에서 제어 가능한 생성을 요구한다. 우리는 aria를 제시한다. 이는 의존성 없는 네이티브 런타임으로, Python이나 딥러닝 프레임워크 없이 일반 GPU, CPU 전용 머신, 라즈베리 파이 5에서 Stable Audio~3 (SA3)의 전체 텍스트-투-뮤직 파이프라인을 실행한다. 우리의 주요 기여는 양자화 연구, 즉 제한된 메모리 예산에 맞추기 위해 낮은 수치 정밀도로 모델을 실행하고 메모리를 추가하는 대신 그 자리에서 절약하는 것이다. 런타임이 모든 내부 텐서를 소유하기 때문에, 활성화 조종(activation steering)이라는 저비용 방식으로 모델이 생성하는 것을 조종할 수 있다. 우리는 출력의 세 가지 독립적 측정(프롬프트 충실도, 전반적 오디오 품질, 취향 보존)을 통해 품질 비용을 평가하며, 각각을 무작위 시드 간 일반적 변동과 비교한다. 8비트 정밀도는 메모리를 크게 줄이면서도 어떤 측정에서도 측정 가능한 품질 손실이 없으며, GPU에서 가장 빠른 모드이다. 4비트는 작고 제한된 비용이 추가되지만, 12억 파라미터 모델을 8GB 라즈베리 파이에서 실행할 수 있을 정도로 메모리 공간을 줄인다. 공식 구현과 비교하여, aria는 생성 속도가 같거나 능가하며 약 7배 더 빠르게 시작된다. 조종 인터페이스에 대한 사례 연구는 취향 연상(소닉 시즈닝)을 지닌 음악을 생성하며, 속성 부분 집합에 대해 진정하지만 제한된 제어를 제공한다. 이러한 결과는 내장 제어 기능을 갖춘 소형화된 양자화 런타임을 사운드 인터넷(Internet-of-Sounds) 환경에서 온디바이스 의미론적 오디오를 위한 실용적 기반으로 만든다. aria 런타임은 https://github.com/matteospanio/aria에서 공개된다.

English

Semantic audio applications increasingly require controllable generation on commodity and embedded hardware rather than through framework-heavy datacenter stacks. We present aria, a dependency-free native runtime that runs the complete text-to-music pipeline of Stable Audio~3 (SA3) on ordinary GPUs, CPU-only machines, and a Raspberry~Pi~5, with no Python or deep-learning framework underneath. Our main contribution is a study of quantization: running the model at lower numerical precision to fit tight memory budgets, saving memory in place rather than adding to it. Because the runtime owns every internal tensor, it also exposes activation steering, a low-cost way to steer what the model generates. We judge the quality cost with three independent measures of the output (prompt adherence, overall audio quality, taste preservation), each compared against the ordinary variation between random seeds. Eight-bit precision shows no measurable quality loss on any measure while sharply cutting memory, and it is the fastest mode on the GPU; four-bit adds a small, bounded cost but shrinks the footprint enough to run the 1.2-billion-parameter model on an 8\,GB Pi. Against the official implementation, aria matches or exceeds generation speed and starts about seven times faster. A case study of the steering interface generates music carrying taste associations (sonic seasoning), with genuine but bounded control for a subset of attributes. These results make a compact, quantized runtime with built-in control a practical basis for on-device semantic audio in Internet-of-Sounds settings. The aria runtime is released at https://github.com/matteospanio/aria.