エージェンティック音声認識のための音声メモリ

要旨

**Voice Memory を提案する。これはエージェント型音声認識のための推論専用手法である。ストリーム時には、凍結された訂正器が単一のドメイン別メモリ.mdを読み込み、発話ごとに仮説に基づいて行動するか、または棄権して1-bestを保持するかを決定する。非同期には、スコアゲート型最適化器が制限付き編集を通じてそのファイルを改訂し、保留スコアを厳密に改善する場合にのみ編集を受け入れる。古典的なASR-LMフレームワークから拡張し、この分割をリスナー・シンカーアーキテクチャと呼ぶ。両者の役割はメモリのみを介して結合されるため、重み変更は一切行われず、学習されたスキルは監査可能かつ可搬性を保つ。抑制こそが、このループが発見する主要スキルであることが判明した。制約のない生成的誤り訂正（GER）は過剰訂正を引き起こし、金融ニュースでは編集の最大64%で正しいトークンを破壊する。一方、Voice Memoryはこの割合を35%に低減する。オープンな訂正器を用いた10のHyPoradiseドメインにおいて、Voice Memoryは加重単語誤り率を8.36%から7.52%に低下させ（3つのインコンテキスト例を追加すると7.47%）、どのデータセットも1-bestベースラインを下回ることはない。改善は、回復可能な余地が最も大きい領域、特に航空旅行コマンド（8.40%から3.40%）や雑音下遠距離発話（CHiME-4、12.69%から10.46%）に集中する。メモリは訂正器ファミリー間で転送可能であり、推論パスにパラメータを追加しない。今後の研究のために、デモとサンプルコードを提供する。

English

We present Voice Memory, a inference-only scheme for agentic speech recognition: at stream time, a frozen corrector reads a single per-domain memory.md and decides per utterance whether to act on the hypothesis or abstain and keep the 1-best. Asynchronously, a score-gated optimizer revises that file through bounded edits, accepting an edit only when it strictly improves a held-out score. Extended from classical ASR-LM framework, we refer this split the listener-thinker architecture; the two roles are coupled only through the memory, so no weights change and the learned skill stays auditable and portable. Restraint turns out to be the operative skill this loop discovers: unconstrained generative error correction (GER) over-corrects, breaking correct tokens on up to 64% of its edits on financial news, and Voice Memory, reduces this rate to 35%. Across ten HyPoradise domains with an open corrector, Voice Memory, lowers weighted word error rate from 8.36% to 7.52% (7.47% with three added in-context examples) without regressing any dataset below its 1-best baseline; gains concentrate where recoverable headroom is largest, including air-travel commands (8.40% to 3.40%) and noisy far-field speech (CHiME-4, 12.69% to 10.46%). The memory transfers across corrector families and adds zero parameters to the inference path. A demo and example code are provided for future studies.