Команда Ragu на SemEval-2026, Задание 8: Meno и друзья в ансамбле LLM под управлением судьи для достоверной генерации многоходовых ответов
RaguTeam at SemEval-2026 Task 8: Meno and Friends in a Judge-Orchestrated LLM Ensemble for Faithful Multi-Turn Response Generation
May 6, 2026
Авторы: Ivan Bondarenko, Roman Derunets, Oleg Sedukhin, Mikhail Komarov, Ivan Chernov, Mikhail Kulakov
cs.AI
Аннотация
Мы представляем нашу победную систему для Задачи B (генерация с опорой на референсные пассажи) в рамках SemEval-2026 Task 8: MTRAGEval. Наш метод представляет собой гетерогенный ансамбль из семи больших языковых моделей (LLM) с двумя вариантами промптинга, где судья на основе GPT-4o-mini выбирает лучший кандидата для каждого примера. Мы заняли 1-е место среди 26 команд, достигнув условного гармонического среднего в 0.7827 и превзойдя сильнейший базовый уровень (gpt-oss-120b, 0.6390). Абляционные исследования показывают, что разнообразие семейств моделей, их масштабов и стратегий промптинга является ключевым фактором, причем ансамбль стабильно превосходит любую отдельную модель. Мы также представляем Meno-Lite-0.1, доменно-адаптированную модель объемом 7B параметров с выгодным соотношением стоимости и производительности, и анализируем MTRAGEval, выделяя ограничения аннотации и направления для улучшения. Наш код общедоступен: https://github.com/RaguTeam/ragu_mtrag_semeval.
English
We present our winning system for Task~B (generation with reference passages) in SemEval-2026 Task~8: MTRAGEval. Our method is a heterogeneous ensemble of seven LLMs with two prompting variants, where a GPT-4o-mini judge selects the best candidate per instance. We ranked 1st out of 26 teams, achieving a conditioned harmonic mean of 0.7827 and outperforming the strongest baseline (gpt-oss-120b, 0.6390). Ablations show that diversity in model families, scales, and prompting strategies is essential, with the ensemble consistently beating any single model. We also introduce Meno-Lite-0.1, a 7B domain-adapted model with a strong cost--performance trade-off, and analyse MTRAGEval, highlighting annotation limitations and directions for improvement. Our code is publicly available: https://github.com/RaguTeam/ragu_mtrag_semeval