PingPong: 다중 전환 코드 전환 대화를 위한 자연스러운 벤치마크

초록

코드 전환(code-switching)은 전 세계 다언어 사용자 다수에게 널리 퍼진 현상이지만, 일상적 의사소통에서의 복잡성을 정확히 반영하는 벤치마크는 거의 없다. 본 논문은 5가지 언어 조합 변형(그 중 일부는 3개 언어 사용)을 아우르는 자연스러운 다자간 코드 전환 대화 벤치마크인 PingPong을 소개한다. 우리의 데이터셋은 2~4명의 참가자가 진행한 인간이 작성한 대화로 구성되며, 응답이 대화 중 훨씬 이전 지점을 빈번히 참조하는 실제적이고 다중 스레드 구조를 포함한다. 우리의 데이터가 기계 생성 대안보다 메시지 길이, 화자 주도성, 응답 거리 측면에서 더 큰 변이를 제공하며 훨씬 더 자연스럽고 구조적으로 다양함을 입증한다. 이러한 대화를 바탕으로 질의응답, 대화 요약, 주제 분류라는 세 가지 하위 작업을 정의한다. PingPong에 대한 여러 최첨단 언어 모델 평가 결과, 코드 전환 입력에 대한 성능은 여전히 제한적이며, 이는 현실 세계 다언어 담론의 복잡성을 다룰 수 있는 더 강력한 NLP 시스템의 필요성을 시급히 보여준다.

English

Code-switching is a widespread practice among the world's multilingual majority, yet few benchmarks accurately reflect its complexity in everyday communication. We present PingPong, a benchmark for natural multi-party code-switching dialogues covering five language-combination variations, some of which are trilingual. Our dataset consists of human-authored conversations among 2 to 4 participants covering authentic, multi-threaded structures where replies frequently reference much earlier points in the dialogue. We demonstrate that our data is significantly more natural and structurally diverse than machine-generated alternatives, offering greater variation in message length, speaker dominance, and reply distance. Based on these dialogues, we define three downstream tasks: Question Answering, Dialogue Summarization, and Topic Classification. Evaluations of several state-of-the-art language models on PingPong reveal that performance remains limited on code-switched inputs, underscoring the urgent need for more robust NLP systems capable of addressing the intricacies of real-world multilingual discourse.

PingPong: 다중 전환 코드 전환 대화를 위한 자연스러운 벤치마크

PingPong: A Natural Benchmark for Multi-Turn Code-Switching Dialogues

초록

Support