게임-타임: 음성 언어 모델의 시간적 동역학 평가

초록

대화형 음성 언어 모델(SLMs)은 실시간 음성 상호작용을 위한 유망한 패러다임으로 부상하고 있습니다. 그러나 이러한 모델의 시간적 역동성, 즉 타이밍, 템포, 동시 발화 관리 능력은 대화 유창성을 위한 중요한 평가되지 않은 과제로 남아 있습니다. 이러한 격차를 해결하기 위해, 우리는 이러한 시간적 능력을 체계적으로 평가하기 위한 프레임워크인 Game-Time 벤치마크를 소개합니다. 인간이 언어 활동을 통해 언어를 배우는 방식에서 영감을 받은 Game-Time은 기본적인 지시 수행 작업과 템포 준수 및 동기화된 응답과 같은 시간적 제약이 있는 고급 작업으로 구성됩니다. 다양한 SLM 아키텍처에 대한 평가 결과, 최첨단 모델은 기본 작업을 잘 처리하지만 많은 현대 시스템은 여전히 기본적인 지시 수행에 어려움을 겪는 것으로 나타났습니다. 더욱 중요한 것은, 거의 모든 모델이 시간적 제약 하에서 상당히 성능이 저하되어 시간 인식 및 전이중 상호작용에서 지속적인 약점이 드러났다는 점입니다. Game-Time 벤치마크는 더 시간을 잘 인식하는 대화형 AI를 향한 미래 연구를 안내하는 기반을 제공합니다. 데모와 데이터셋은 프로젝트 웹사이트 https://ga642381.github.io/Game-Time에서 확인할 수 있습니다.

English

Conversational Spoken Language Models (SLMs) are emerging as a promising paradigm for real-time speech interaction. However, their capacity of temporal dynamics, including the ability to manage timing, tempo and simultaneous speaking, remains a critical and unevaluated challenge for conversational fluency. To address this gap, we introduce the Game-Time Benchmark, a framework to systematically assess these temporal capabilities. Inspired by how humans learn a language through language activities, Game-Time consists of basic instruction-following tasks and advanced tasks with temporal constraints, such as tempo adherence and synchronized responses. Our evaluation of diverse SLM architectures reveals a clear performance disparity: while state-of-the-art models handle basic tasks well, many contemporary systems still struggle with fundamental instruction-following. More critically, nearly all models degrade substantially under temporal constraints, exposing persistent weaknesses in time awareness and full-duplex interaction. The Game-Time Benchmark provides a foundation for guiding future research toward more temporally-aware conversational AI. Demos and datasets are available on our project website https://ga642381.github.io/Game-Time.

게임-타임: 음성 언어 모델의 시간적 동역학 평가

Game-Time: Evaluating Temporal Dynamics in Spoken Language Models

초록

Support