RaguTeam en SemEval-2026 Tarea 8: Meno y Amigos en un Conjunto de LLM Orquestado por un Juez para la Generación Fidedigna de Respuestas Multiturno
RaguTeam at SemEval-2026 Task 8: Meno and Friends in a Judge-Orchestrated LLM Ensemble for Faithful Multi-Turn Response Generation
May 6, 2026
Autores: Ivan Bondarenko, Roman Derunets, Oleg Sedukhin, Mikhail Komarov, Ivan Chernov, Mikhail Kulakov
cs.AI
Resumen
Presentamos nuestro sistema ganador para la Tarea~B (generación con pasajes de referencia) en SemEval-2026 Tarea~8: MTRAGEval. Nuestro método es un ensemble heterogéneo de siete LLMs con dos variantes de *prompting*, donde un juez GPT-4o-mini selecciona el mejor candidato por instancia. Obtuvimos el primer puesto entre 26 equipos, logrando una media armónica condicionada de 0.7827 y superando el *baseline* más fuerte (gpt-oss-120b, 0.6390). Las ablaciones muestran que la diversidad en familias de modelos, escalas y estrategias de *prompting* es esencial, con el ensemble superando consistentemente a cualquier modelo individual. También presentamos Meno-Lite-0.1, un modelo de 7B adaptado al dominio con una sólida relación coste-rendimiento, y analizamos MTRAGEval, destacando limitaciones en la anotación y direcciones de mejora. Nuestro código está disponible públicamente: https://github.com/RaguTeam/ragu_mtrag_semeval
English
We present our winning system for Task~B (generation with reference passages) in SemEval-2026 Task~8: MTRAGEval. Our method is a heterogeneous ensemble of seven LLMs with two prompting variants, where a GPT-4o-mini judge selects the best candidate per instance. We ranked 1st out of 26 teams, achieving a conditioned harmonic mean of 0.7827 and outperforming the strongest baseline (gpt-oss-120b, 0.6390). Ablations show that diversity in model families, scales, and prompting strategies is essential, with the ensemble consistently beating any single model. We also introduce Meno-Lite-0.1, a 7B domain-adapted model with a strong cost--performance trade-off, and analyse MTRAGEval, highlighting annotation limitations and directions for improvement. Our code is publicly available: https://github.com/RaguTeam/ragu_mtrag_semeval