앞서 듣기: 다음 패치 임베딩 예측이 확장 가능한 오디오 학습기를 가능하게 한다

초록

자기지도 학습(SSL)은 오디오 표현 학습에서 상당한 진전을 이끌어 왔지만, 기존 방법들은 경쟁력 있는 성능에 도달하기 위해 점점 더 정교한 사전 학습 기법에 의존해 왔다. 언어 모델링과, 보다 최근에는 시각 표현 학습에서 가장 영향력 있는 진전의 배경에는 현저히 다른 사전 학습 철학이 있다. 인코더를 정적 특징 추출기로 훈련하는 대신, 모델은 이전 맥락으로부터 다음 요소, 즉 이산 토큰 또는 연속 임베딩을 예측하도록 훈련된다. 자기회귀 예측은 이에 따라 모달리티 간에 전이되는 통합된 사전 학습 인터페이스를 제공하며, 모델이 기본 데이터 분포를 학습하도록 강제한다. 우리는 오디오의 시간적 구조가 패치 임베딩의 자기회귀 예측을 자연스럽게 적합하게 만든다는 점을 고려할 때, 이러한 단순한 인과적 패러다임이 강력한 오디오 학습기를 산출할 수 있는지 묻는다. 우리는 NAPE(Next-Audio-Patch-Embedding prediction)를 소개한다. 이는 자기지도 프레임워크로, 인과적 트랜스포머가 로그-멜 스펙트로그램의 각 다음 패치 임베딩을 이전 패치 임베딩들로부터 예측하며, 훈련 신호로는 인과적 마스킹과 기울기 중단(stop-gradient)만을 사용한다. 이 설계는 의도적으로 최소주의적이며, 재구성 디코더, 음향 토크나이저, 학생-교사 설정, 보조 정규화 손실을 피한다. 여섯 개의 오디오 및 음성 벤치마크에서 NAPE는 여러 작업에서 최첨단 미세 조정 성능을 달성하고, 인코더 크기에 걸쳐 일관되게 확장되며, 강력한 선형 프로빙 결과를 산출한다. NAPE는 또한 명시적 지도 없이 구조화된 주의 패턴을 생성한다.

English

Self-supervised learning (SSL) has driven substantial progress in audio representation learning, though existing methods have increasingly relied on elaborate pre-training recipes to reach competitive performance. A markedly different pre-training philosophy underpins the most influential progress in language modeling and, more recently, in visual representation learning: rather than train encoders as static feature extractors, models are trained to predict the next element, a discrete token or a continuous embedding, from the preceding context. Autoregressive prediction thereby provides a unified pre-training interface that transfers across modalities, compelling the model to learn the underlying data distribution. We ask whether such a simple causal paradigm can yield strong audio learners, given that audio's temporal structure makes autoregressive prediction of patch embeddings a natural fit. We introduce NAPE (Next-Audio-Patch-Embedding prediction), a self-supervised framework in which a causal Transformer predicts each next patch embedding of a log-mel spectrogram from the previous ones, using causal masking and stop-gradient as its sole training signal. The design is intentionally minimalist, avoiding reconstruction decoders, acoustic tokenizers, student-teacher setups, and auxiliary regularization losses. Across six audio and speech benchmarks, NAPE achieves state-of-the-art fine-tuning performance on several tasks, scales consistently across encoder sizes, and yields strong linear-probing results. NAPE also produces structured attention patterns without explicit supervision.