Real-TurnTurk: 턴테이킹 예측을 위한 멀티모달 터키어 말뭉치

초록

턴테이킹(Turn-taking)은 인간 대화의 기본적인 조직적 특성으로, 자연스러운 동기식 대화 시스템에서 여전히 모델링하기 어려운 과제로 남아 있다. 기존 연구에서는 턴 종료 예측을 위한 멀티모달 접근법과 대규모 언어 모델을 탐구해 왔으나, 터키어의 턴테이킹 역학을 구체적으로 다루는 자연주의적 대화 코퍼스는 부족한 실정이다. 본 연구는 대본 없는 이인(二人) 상호작용으로 구성된 터키어 멀티모달 대화 데이터셋을 소개한다. 이 데이터셋은 동기화된 전면 촬영 비디오, 중첩 발화를 개별 화자에게 귀속시킬 수 있는 화자별 오디오 채널, 그리고 시간 정렬된 전사(轉寫) 텍스트를 포함한다. 턴테이킹 예측은 이진 분류 문제로 정식화되며, 유전 알고리즘(GA)을 사용하여 시각적, 음향적, 언어적 특징에서 도출된 해석 가능한 결정 규칙을 최적화한다. 제안된 프레임워크는 턴 전환에 선행하는 대안적 단서 조합을 표현하기 위해 하이브리드 AND-OR 규칙 표현을 채택한다.

English

Turn-taking is a basic organizational feature of human conversation and remains difficult to model in natural, synchronous dialog systems. While existing research has explored multimodal approaches and large language models for turn-ending prediction, there is a lack of naturalistic conversational corpora specifically addressing turn-taking dynamics in Turkish. This study introduces a multimodal Turkish conversational dataset of unscripted dyadic interactions, comprising synchronized front-facing video, per-speaker audio channels that allow overlapping speech to be attributed to individual speakers, and time-aligned transcriptions. Turn-taking prediction is formulated as a binary classification problem, and a Genetic Algorithm (GA) is employed to optimize interpretable decision rules derived from visual, acoustic, and linguistic features. A hybrid AND-OR rule representation is adopted in the proposed framework to represent the alternative cue combinations that precede a turn transition.