Real-TurnTurk：ターンテイキング予測のためのマルチモーダル・トルコ語コーパス

要旨

ターンテイキングは人間の会話における基本的な組織化の特徴であり、自然で同期型の対話システムにおいてモデル化が難しいとされている。既存研究では、ターン終了予測のためのマルチモーダル手法や大規模言語モデルが検討されてきたが、トルコ語のターンテイキング動態に特化した自然主義的会話コーパスは不足している。本研究では、台本なしの二者間インタラクションからなるトルコ語のマルチモーダル会話データセットを紹介する。このデータセットには、同期された正面カメラ映像、重なり発話を個々の話者に帰属させることを可能にする話者別音声チャンネル、および時間整列された書き起こしが含まれる。ターンテイキング予測は二値分類問題として定式化され、視覚的特徴・音響的特徴・言語的特徴から導出される解釈可能な決定ルールを最適化するために遺伝的アルゴリズム（GA）が用いられる。提案フレームワークでは、ターン移行に先行する代替的な手がかりの組み合わせを表現するために、ハイブリッドなAND-ORルール表現が採用される。

English

Turn-taking is a basic organizational feature of human conversation and remains difficult to model in natural, synchronous dialog systems. While existing research has explored multimodal approaches and large language models for turn-ending prediction, there is a lack of naturalistic conversational corpora specifically addressing turn-taking dynamics in Turkish. This study introduces a multimodal Turkish conversational dataset of unscripted dyadic interactions, comprising synchronized front-facing video, per-speaker audio channels that allow overlapping speech to be attributed to individual speakers, and time-aligned transcriptions. Turn-taking prediction is formulated as a binary classification problem, and a Genetic Algorithm (GA) is employed to optimize interpretable decision rules derived from visual, acoustic, and linguistic features. A hybrid AND-OR rule representation is adopted in the proposed framework to represent the alternative cue combinations that precede a turn transition.