先読みする聴覚：次のパッチ埋め込み予測がスケーラブルな音声学習モデルを可能にする

要旨

自己教師あり学習（SSL）はオーディオ表現学習に著しい進歩をもたらしてきたが、既存手法は競争力のある性能を達成するために、複雑な事前学習手法への依存を強めてきた。これとは著しく異なる事前学習の哲学が、言語モデリングおよび、最近では視覚表現学習における最も影響力のある進歩を支えている。すなわち、エンコーダを静的な特徴抽出器として訓練するのではなく、モデルは先行する文脈から次の要素（離散トークンまたは連続埋め込み）を予測するように訓練される。これにより自己回帰予測は、モダリティを横断して転移する統一的な事前学習インターフェースを提供し、モデルに基礎となるデータ分布の学習を促す。我々は、オーディオの時間構造がパッチ埋め込みの自己回帰予測に自然に適合することを踏まえ、このような単純な因果的パラダイムが強力なオーディオ学習器を生み出せるかどうかを問う。我々はNAPE（Next-Audio-Patch-Embedding prediction）を導入する。これは、因果的トランスフォーマーが対数メルスペクトログラムの各次のパッチ埋め込みをそれ以前のものから予測する自己教師ありフレームワークであり、訓練信号として因果マスキングとストップグラデーションのみを用いる。この設計は意図的に最小限であり、再構成デコーダ、音響トークナイザ、教師-生徒設定、および補助正則化損失をいっさい使用しない。6つのオーディオおよび音声ベンチマークにおいて、NAPEは複数のタスクで最先端のファインチューニング性能を達成し、エンコーダサイズにわたって一貫したスケーリングを示し、強力な線形プローブ結果をもたらす。またNAPEは、明示的な教師なしに構造化された注意パターンを生成する。

English

Self-supervised learning (SSL) has driven substantial progress in audio representation learning, though existing methods have increasingly relied on elaborate pre-training recipes to reach competitive performance. A markedly different pre-training philosophy underpins the most influential progress in language modeling and, more recently, in visual representation learning: rather than train encoders as static feature extractors, models are trained to predict the next element, a discrete token or a continuous embedding, from the preceding context. Autoregressive prediction thereby provides a unified pre-training interface that transfers across modalities, compelling the model to learn the underlying data distribution. We ask whether such a simple causal paradigm can yield strong audio learners, given that audio's temporal structure makes autoregressive prediction of patch embeddings a natural fit. We introduce NAPE (Next-Audio-Patch-Embedding prediction), a self-supervised framework in which a causal Transformer predicts each next patch embedding of a log-mel spectrogram from the previous ones, using causal masking and stop-gradient as its sole training signal. The design is intentionally minimalist, avoiding reconstruction decoders, acoustic tokenizers, student-teacher setups, and auxiliary regularization losses. Across six audio and speech benchmarks, NAPE achieves state-of-the-art fine-tuning performance on several tasks, scales consistently across encoder sizes, and yields strong linear-probing results. NAPE also produces structured attention patterns without explicit supervision.