SemEval-2026 Task 8におけるRaguTeam：忠実なマルチターン応答生成のための判事オーケストレーション型LLMアンサンブルにおけるメノとその仲間たち

RaguTeam at SemEval-2026 Task 8: Meno and Friends in a Judge-Orchestrated LLM Ensemble for Faithful Multi-Turn Response Generation

May 6, 2026

著者: Ivan Bondarenko, Roman Derunets, Oleg Sedukhin, Mikhail Komarov, Ivan Chernov, Mikhail Kulakov

cs.AI

要旨

SemEval-2026 Task~8: MTRAGEval の Task~B（参照文書付き生成課題）における優勝システムを紹介します。我々の手法は、7つの大規模言語モデルと2種類のプロンプト変種からなる異種アンサンブルであり、GPT-4o-mini 判定器がインスタンスごとに最適な候補を選択します。当システムは26チーム中1位となり、条件付き調和平均0.7827を達成、最強ベースライン（gpt-oss-120b, 0.6390）を上回りました。アブレーション研究により、モデルファミリー・規模・プロンプト戦略の多様性が重要であり、アンサンブルが単一モデルを一貫して凌駕することが示されました。また、強力なコストパフォーマンス比を持つドメイン適応型7Bモデル Meno-Lite-0.1 を提案し、MTRAGEval の注釈限界と改善方向について分析します。コードは公開されています: https://github.com/RaguTeam/ragu_mtrag_semeval

English

We present our winning system for Task~B (generation with reference passages) in SemEval-2026 Task~8: MTRAGEval. Our method is a heterogeneous ensemble of seven LLMs with two prompting variants, where a GPT-4o-mini judge selects the best candidate per instance. We ranked 1st out of 26 teams, achieving a conditioned harmonic mean of 0.7827 and outperforming the strongest baseline (gpt-oss-120b, 0.6390). Ablations show that diversity in model families, scales, and prompting strategies is essential, with the ensemble consistently beating any single model. We also introduce Meno-Lite-0.1, a 7B domain-adapted model with a strong cost--performance trade-off, and analyse MTRAGEval, highlighting annotation limitations and directions for improvement. Our code is publicly available: https://github.com/RaguTeam/ragu_mtrag_semeval