PingPong: Um Benchmark Natural para Diálogos com Alternância de Código em Múltiplos Turnos
PingPong: A Natural Benchmark for Multi-Turn Code-Switching Dialogues
January 24, 2026
Autores: Mohammad Rifqi Farhansyah, Hanif Muhammad Zhafran, Farid Adilazuarda, Shamsuddeen Hassan Muhammad, Maryam Ibrahim Mukhtar, Nedjma Ousidhoum, Genta Indra Winata, Ayu Purwarianti, Alham Fikri Aji
cs.AI
Resumo
A alternância de códigos é uma prática generalizada entre a maioria multilíngue mundial, porém poucos benchmarks refletem com precisão sua complexidade na comunicação cotidiana. Apresentamos o PingPong, um benchmark para diálogos naturais de alternância de códigos multiparticipantes, abrangendo cinco variações de combinações linguísticas, algumas das quais são trilíngues. Nosso conjunto de dados consiste em conversas elaboradas por humanos entre 2 a 4 participantes, cobrindo estruturas autênticas e multithread onde as respostas frequentemente referenciam pontos muito anteriores no diálogo. Demonstramos que nossos dados são significativamente mais naturais e estruturalmente diversificados do que alternativas geradas por máquina, oferecendo maior variação no comprimento das mensagens, dominância do falante e distância de resposta. Com base nesses diálogos, definimos três tarefas derivadas: Resposta a Perguntas, Sumarização de Diálogos e Classificação de Tópicos. Avaliações de vários modelos de linguagem state-of-the-art no PingPong revelam que o desempenho permanece limitado em entradas com alternância de códigos, destacando a necessidade urgente de sistemas de PLN mais robustos capazes de abordar as complexidades do discurso multilíngue do mundo real.
English
Code-switching is a widespread practice among the world's multilingual majority, yet few benchmarks accurately reflect its complexity in everyday communication. We present PingPong, a benchmark for natural multi-party code-switching dialogues covering five language-combination variations, some of which are trilingual. Our dataset consists of human-authored conversations among 2 to 4 participants covering authentic, multi-threaded structures where replies frequently reference much earlier points in the dialogue. We demonstrate that our data is significantly more natural and structurally diverse than machine-generated alternatives, offering greater variation in message length, speaker dominance, and reply distance. Based on these dialogues, we define three downstream tasks: Question Answering, Dialogue Summarization, and Topic Classification. Evaluations of several state-of-the-art language models on PingPong reveal that performance remains limited on code-switched inputs, underscoring the urgent need for more robust NLP systems capable of addressing the intricacies of real-world multilingual discourse.