SoCRATES: К надежной автоматизированной оценке проактивного посредничества LLM в различных областях и социокогнитивных вариациях

Аннотация

Оценка LLM-посредников остаётся сложной задачей, поскольку медиация разворачивается в реальном времени как траектория, формируемая меняющимися эмоциями, намерениями и контекстом участников спора. Существующие тестовые среды опираются на несколько предметных областей, созданных экспертами, варьируют в основном стратегическую позицию и оценивают каждый шаг по каждой теме, что вносит шум, не связанный с темой. Мы представляем SoCRATES — бенчмарк для оценки проактивных LLM-посредников в реалистичных многодисциплинарных тестовых средах. Он конструирует сценарии на основе реальных конфликтов с помощью агентного конвейера по восьми предметным областям, исследует пять осей социокогнитивной адаптации (стратегическая позиция, состав сторон, длина истории, эмоциональная реактивность и культурная идентичность) и оценивает каждую тему только по тем шагам, которые её продвигают, используя локализованный по темам оценщик. Этот оценщик достигает согласованности с экспертами на уровне 0.82, более чем вдвое превосходя пошаговый базовый показатель. В ходе бенчмаркинга восьми передовых LLM мы обнаружили, что даже самый сильный посредник закрывает лишь около трети разрыва в консенсусе без посредничества в разнообразных и реалистичных тестовых средах, причём производительность резко различается по социокогнитивным осям, что подчёркивает: прогресс лежит в социальной адаптации к разнообразным условиям.

English

Evaluating LLM mediators remains challenging, as mediation unfolds as a real-time trajectory shaped by disputants' shifting emotions, intentions, and context. Existing testbeds rely on a few expert-authored domains, vary mainly strategic posture, and score every turn against every topic, introducing off-topic noise. We introduce SoCRATES, a benchmark for evaluating proactive LLM mediators in realistic, multi-domain testbeds. It constructs scenarios from real conflicts through an agentic pipeline across eight domains, probes five socio-cognitive adaptation axes (strategic posture, party composition, history length, emotional reactivity, and cultural identity), and scores each topic only on the turns that advance it via a topic-localized evaluator. The evaluator reaches 0.82 alignment with human experts, more than doubling a per-turn baseline. Benchmarking eight frontier LLMs, we find that even the strongest mediator closes only about a third of the unmediated consensus gap under diverse and realistic testbeds, with performance varying sharply by socio-cognitive axis, highlighting that progress lies in social adaptation to diverse conditions.