에이전트 기반 음성 인식을 위한 음성 메모리

초록

우리는 에이전트 음성 인식을 위한 추론 전용 기법인 Voice Memory를 제시한다. 스트림 시간에 고정된 교정기가 단일 도메인별 메모리 파일(memory.md)을 읽고, 발화별로 가설에 따라 행동할지 아니면 기권하고 1-최저(1-best)를 유지할지 결정한다. 비동기적으로 점수 게이트 최적화기가 해당 파일을 제한된 편집을 통해 수정하며, 홀드아웃 점수를 엄격히 향상시키는 경우에만 편집을 수용한다. 고전적인 ASR-언어모델 프레임워크에서 확장하여, 우리는 이러한 분할을 듣기-생각하기(listener-thinker) 구조라고 부른다. 두 역할은 메모리를 통해서만 결합되므로 가중치 변경이 없으며, 학습된 기술은 감사 가능하고 이식 가능하게 유지된다. 이 루프가 발견하는 작동 기술은 바로 절제(restraint)임이 밝혀졌다. 제약 없는 생성적 오류 교정(GER)은 과교정하여 금융 뉴스에서 편집의 최대 64%에서 올바른 토큰을 깨뜨리는 반면, Voice Memory는 이 비율을 35%로 낮춘다. 열 개의 HyPoradise 도메인에서 개방형 교정기를 사용한 결과, Voice Memory는 가중 단어 오류율을 8.36%에서 7.52%로 낮추고(세 개의 맥락 내 예제를 추가하면 7.47%), 어떤 데이터셋도 1-최적 기준선 아래로 후퇴시키지 않는다. 이득은 회복 가능한 여유가 가장 큰 곳에 집중되며, 항공 여행 명령(8.40%에서 3.40%) 및 잡음이 있는 원거리 음성(CHiME-4, 12.69%에서 10.46%)이 포함된다. 메모리는 교정기 계열 간에 전송되며 추론 경로에 매개변수를 전혀 추가하지 않는다. 향후 연구를 위해 데모와 예제 코드가 제공된다.

English

We present Voice Memory, a inference-only scheme for agentic speech recognition: at stream time, a frozen corrector reads a single per-domain memory.md and decides per utterance whether to act on the hypothesis or abstain and keep the 1-best. Asynchronously, a score-gated optimizer revises that file through bounded edits, accepting an edit only when it strictly improves a held-out score. Extended from classical ASR-LM framework, we refer this split the listener-thinker architecture; the two roles are coupled only through the memory, so no weights change and the learned skill stays auditable and portable. Restraint turns out to be the operative skill this loop discovers: unconstrained generative error correction (GER) over-corrects, breaking correct tokens on up to 64% of its edits on financial news, and Voice Memory, reduces this rate to 35%. Across ten HyPoradise domains with an open corrector, Voice Memory, lowers weighted word error rate from 8.36% to 7.52% (7.47% with three added in-context examples) without regressing any dataset below its 1-best baseline; gains concentrate where recoverable headroom is largest, including air-travel commands (8.40% to 3.40%) and noisy far-field speech (CHiME-4, 12.69% to 10.46%). The memory transfers across corrector families and adds zero parameters to the inference path. A demo and example code are provided for future studies.