SoCRATES: Rumo à Avaliação Automatizada Confiável da Mediação Proativa de LLM entre Domínios e Variações Sociocognitivas

Resumo

Avaliar mediadores LLM continua sendo um desafio, pois a mediação se desenrola como uma trajetória em tempo real moldada pelas emoções, intenções e contexto em constante mudança das partes em disputa. Os bancos de teste existentes dependem de alguns domínios elaborados por especialistas, variam principalmente a postura estratégica e pontuam cada turno em relação a cada tópico, introduzindo ruído fora do tópico. Apresentamos o SoCRATES, um benchmark para avaliar mediadores LLM proativos em bancos de teste realistas e com múltiplos domínios. Ele constrói cenários a partir de conflitos reais por meio de um pipeline agentivo em oito domínios, investiga cinco eixos de adaptação sociocognitiva (postura estratégica, composição das partes, extensão do histórico, reatividade emocional e identidade cultural) e pontua cada tópico apenas nos turnos que o avançam, por meio de um avaliador localizado por tópico. O avaliador atinge 0,82 de alinhamento com especialistas humanos, mais que dobrando uma linha de base por turno. Ao avaliar oito LLMs de ponta, constatamos que mesmo o mediador mais forte fecha apenas cerca de um terço da lacuna de consenso não mediado em bancos de teste diversos e realistas, com desempenho variando acentuadamente conforme o eixo sociocognitivo, destacando que o progresso reside na adaptação social a condições diversas.

English

Evaluating LLM mediators remains challenging, as mediation unfolds as a real-time trajectory shaped by disputants' shifting emotions, intentions, and context. Existing testbeds rely on a few expert-authored domains, vary mainly strategic posture, and score every turn against every topic, introducing off-topic noise. We introduce SoCRATES, a benchmark for evaluating proactive LLM mediators in realistic, multi-domain testbeds. It constructs scenarios from real conflicts through an agentic pipeline across eight domains, probes five socio-cognitive adaptation axes (strategic posture, party composition, history length, emotional reactivity, and cultural identity), and scores each topic only on the turns that advance it via a topic-localized evaluator. The evaluator reaches 0.82 alignment with human experts, more than doubling a per-turn baseline. Benchmarking eight frontier LLMs, we find that even the strongest mediator closes only about a third of the unmediated consensus gap under diverse and realistic testbeds, with performance varying sharply by socio-cognitive axis, highlighting that progress lies in social adaptation to diverse conditions.