音声推論のための進化するルーブリックを報酬とする強化学習

要旨

音声推論は、機械が音響世界を理解するために不可欠である。検証可能な報酬を用いた強化学習はそのような推論を引き出すことができるが、既存の報酬設計には相補的な限界がある。すなわち、結果ベースの報酬は最終的な解答のみを監視し、モデルが音声に注意を払うことなく解答に到達することを許してしまう。一方、プロセスベースの報酬は推論自体を評価するものの、粗く手作業で作られた固定的な基準に依存しており、それは各質問に適応せず、音響的証拠に基づくこともない。さらに、質問によって要求される内容は異なり、知覚に依存するものもあれば、多段階の推論に依存するものもある。そのため、あらゆる静的な基準は、方策が向上するにつれてその効果が弱まる。したがって、推論プロセスを、きめ細かく、音響に基づき、かつ適応的な報酬で監視することが極めて重要である。しかし、そのような報酬はサンプルごとに手作業で設計することは非現実的であるため、困難を伴う。この目的のために、我々はAudioRubricsを導入する。これは、自己進化型かつ音響基盤型のルーブリック報酬を用いて音声推論を監視する強化学習フレームワークである。AudioRubricsは、生の波形からサンプルごとのルーブリックを合成し、モデル自身のロールアウトに基づいて、グループごとに基準を再生成・再重み付けする。これにより、静的な基準が飽和する中でも、現在の方策の弱点を継続的に標的とする学習信号が供給される。3つの音声推論ベンチマークにわたる包括的な評価により、AudioRubricsが多種多様なオープンソースおよび学習ベースのベースラインを大幅に上回ることが示された。さらに、我々の分析は、その向上がルーブリック生成器と判定器の能力に応じて拡大すること、またAudioRubricsが退化した崩壊と無制限な成長の両方を回避する安定した推論長に収束することを示している。音声知覚の改善は、音響的証拠に監視を固定することの有効性をさらに実証している。プロジェクトページは https://audiorubrics.github.io で公開している。

English

Audio reasoning is essential for machine understanding of the acoustic world. Reinforcement learning with verifiable rewards can elicit such reasoning, yet existing reward designs are complementary in their limitations: outcome-based rewards supervise only the final answer and let the model reach it without attending to the audio, whereas process-based rewards score the reasoning itself but rely on coarse, hand-crafted, and fixed criteria that neither adapt to each question nor stay grounded in the acoustic evidence. Moreover, questions differ in what they demand, with some hinging on perception and others on multi-step reasoning, and any static criterion weakens as the policy improves. Supervising the reasoning process with fine-grained, audio-grounded, and adaptive rewards is therefore crucial, yet challenging since such rewards are impractical to design by hand for every sample. To this end, we introduce AudioRubrics, a reinforcement learning framework that supervises audio reasoning with self-evolving, audio-grounded rubric rewards. AudioRubrics synthesizes per-sample rubrics from the raw waveform and, conditioned on the model's own rollouts, regenerates and reweights criteria per group, supplying a continuous learning signal that keeps targeting the current policy's weaknesses as static criteria saturate. Comprehensive evaluations across three audio reasoning benchmarks reveal that AudioRubrics substantially outperforms a wide range of open-source and training-based baselines. Furthermore, our analysis shows that the gains scale with the capability of the rubric generator and judge, and AudioRubrics converges to a stable reasoning length that avoids both degenerate collapse and unbounded growth. The improvement in audio perception further demonstrates the effectiveness of anchoring supervision in the acoustic evidence. Our project page is available at https://audiorubrics.github.io.