SoCRATES：跨领域及社会认知变异的主动式LLM调解的可靠自动评估方法探索

要旨

LLM調停者の評価は依然として困難である。なぜなら、調停は、紛争当事者の感情、意図、文脈の変化に応じて形成されるリアルタイムの軌跡として展開するからである。既存のテストベッドは、少数の専門家が作成したドメインに依存し、主に戦略的姿勢を変化させ、すべてのターンをすべてのトピックに対して採点するため、トピック外のノイズが生じる。我々は、現実的でマルチドメインなテストベッドにおいて、能動的なLLM調停者を評価するためのベンチマークであるSoCRATESを導入する。これは、エージェント型パイプラインを通じて8つのドメインにわたる実際の紛争からシナリオを構築し、5つの社会認知的適応軸（戦略的姿勢、当事者構成、履歴長、感情的反応性、文化的アイデンティティ）を調査し、トピックを進展させるターンのみをトピック局所評価器を用いて採点する。この評価器は、人間の専門家との一致率0.82を達成し、1ターンごとのベースラインを2倍以上上回る。8つの最先端LLMをベンチマークした結果、最も強力な調停者でさえ、多様で現実的なテストベッドにおいて、調停なしの場合の合意ギャップの約3分の1しか埋められず、性能は社会認知的軸によって大きく変動することが判明した。これは、進歩が多様な条件への社会的適応にあることを強調している。

English

Evaluating LLM mediators remains challenging, as mediation unfolds as a real-time trajectory shaped by disputants' shifting emotions, intentions, and context. Existing testbeds rely on a few expert-authored domains, vary mainly strategic posture, and score every turn against every topic, introducing off-topic noise. We introduce SoCRATES, a benchmark for evaluating proactive LLM mediators in realistic, multi-domain testbeds. It constructs scenarios from real conflicts through an agentic pipeline across eight domains, probes five socio-cognitive adaptation axes (strategic posture, party composition, history length, emotional reactivity, and cultural identity), and scores each topic only on the turns that advance it via a topic-localized evaluator. The evaluator reaches 0.82 alignment with human experts, more than doubling a per-turn baseline. Benchmarking eight frontier LLMs, we find that even the strongest mediator closes only about a third of the unmediated consensus gap under diverse and realistic testbeds, with performance varying sharply by socio-cognitive axis, highlighting that progress lies in social adaptation to diverse conditions.