Intelligenza Dibattibile: Valutazione dei Giudici LLM attraverso il Benchmarking del Discorso Dibattimentale

Debatable Intelligence: Benchmarking LLM Judges via Debate Speech Evaluation

June 5, 2025

Autori: Noy Sternlicht, Ariel Gera, Roy Bar-Haim, Tom Hope, Noam Slonim

cs.AI

Abstract

Introduciamo la Valutazione dei Discorsi Dibattimentali come un nuovo e impegnativo benchmark per valutare i giudici LLM. Valutare i discorsi dibattimentali richiede una profonda comprensione del discorso a più livelli, inclusa la forza e la rilevanza degli argomenti, la coerenza e l'organizzazione del discorso, l'appropriatezza dello stile e del tono, e così via. Questo compito coinvolge un insieme unico di abilità cognitive che hanno ricevuto finora un'attenzione limitata nei benchmark sistematici degli LLM. Per esplorare tali abilità, sfruttiamo un dataset di oltre 600 discorsi dibattimentali meticolosamente annotati e presentiamo la prima analisi approfondita di come gli LLM all'avanguardia si confrontino con i giudici umani in questo compito. Le nostre scoperte rivelano un quadro sfumato: mentre i modelli più grandi possono approssimare i giudizi individuali degli esseri umani sotto alcuni aspetti, differiscono sostanzialmente nel loro comportamento complessivo di giudizio. Investigiamo inoltre la capacità degli LLM di frontiera di generare discorsi persuasivi e opinionati, dimostrando che i modelli possono raggiungere un livello umano in questo compito.

English

We introduce Debate Speech Evaluation as a novel and challenging benchmark for assessing LLM judges. Evaluating debate speeches requires a deep understanding of the speech at multiple levels, including argument strength and relevance, the coherence and organization of the speech, the appropriateness of its style and tone, and so on. This task involves a unique set of cognitive abilities that have previously received limited attention in systematic LLM benchmarking. To explore such skills, we leverage a dataset of over 600 meticulously annotated debate speeches and present the first in-depth analysis of how state-of-the-art LLMs compare to human judges on this task. Our findings reveal a nuanced picture: while larger models can approximate individual human judgments in some respects, they differ substantially in their overall judgment behavior. We also investigate the ability of frontier LLMs to generate persuasive, opinionated speeches, showing that models may perform at a human level on this task.