RaguTeam bei SemEval-2026 Task 8: Meno und Freunde in einem richterlich orchestrierten LLM-Ensemble für vertrauenswürdige Mehrschritt-Antwortgenerierung

RaguTeam at SemEval-2026 Task 8: Meno and Friends in a Judge-Orchestrated LLM Ensemble for Faithful Multi-Turn Response Generation

May 6, 2026

Autoren: Ivan Bondarenko, Roman Derunets, Oleg Sedukhin, Mikhail Komarov, Ivan Chernov, Mikhail Kulakov

cs.AI

Zusammenfassung

Wir präsentieren unser siegreiches System für Task~B (Generierung mit Referenztexten) beim SemEval-2026 Task~8: MTRAGEval. Unsere Methode ist ein heterogenes Ensemble aus sieben LLMs mit zwei Prompting-Varianten, bei dem ein GPT-4o-mini-Judge die beste Kandidatenantwort pro Instanz auswählt. Wir belegten den 1. Platz unter 26 Teams und erreichten ein konditioniertes harmonisches Mittel von 0,7827, womit wir die stärkste Baseline (gpt-oss-120b, 0,6390) übertrafen. Ablationstudien zeigen, dass die Vielfalt der Modellfamilien, -größen und Prompting-Strategien entscheidend ist, wobei das Ensemble durchgängig jedes Einzelmodell schlägt. Wir stellen zudem Meno-Lite-0.1 vor, ein domänenangepasstes 7B-Modell mit einem guten Kosten-Leistungs-Verhältnis, und analysieren MTRAGEval, wobei wir Annotationseinschränkungen und Verbesserungsrichtungen aufzeigen. Unser Code ist öffentlich verfügbar: https://github.com/RaguTeam/ragu_mtrag_semeval

English

We present our winning system for Task~B (generation with reference passages) in SemEval-2026 Task~8: MTRAGEval. Our method is a heterogeneous ensemble of seven LLMs with two prompting variants, where a GPT-4o-mini judge selects the best candidate per instance. We ranked 1st out of 26 teams, achieving a conditioned harmonic mean of 0.7827 and outperforming the strongest baseline (gpt-oss-120b, 0.6390). Ablations show that diversity in model families, scales, and prompting strategies is essential, with the ensemble consistently beating any single model. We also introduce Meno-Lite-0.1, a 7B domain-adapted model with a strong cost--performance trade-off, and analyse MTRAGEval, highlighting annotation limitations and directions for improvement. Our code is publicly available: https://github.com/RaguTeam/ragu_mtrag_semeval