RaguTeam no SemEval-2026 Tarefa 8: Meno e Amigos em um Conjunto de LLM Orquestrado por Juiz para Geração Fiel de Respostas em Múltiplos Turnos

Resumo

Apresentamos o nosso sistema vencedor para a Tarefa B (geração com passagens de referência) no SemEval-2026 Tarefa 8: MTRAGEval. O nosso método é um ensemble heterogéneo de sete LLMs com duas variantes de *prompting*, no qual um juiz GPT-4o-mini seleciona o melhor candidato por instância. Ficámos em 1º lugar entre 26 equipas, alcançando uma média harmónica condicionada de 0,7827 e superando a *baseline* mais forte (gpt-oss-120b, 0,6390). Estudos de ablação mostram que a diversidade em famílias de modelos, escalas e estratégias de *prompting* é essencial, com o ensemble a superar consistentemente qualquer modelo individual. Apresentamos também o Meno-Lite-0.1, um modelo de 7B adaptado ao domínio com um forte equilíbrio custo-desempenho, e analisamos o MTRAGEval, salientando limitações na anotação e direções para melhorias. O nosso código está publicamente disponível: https://github.com/RaguTeam/ragu_mtrag_semeval.

English

We present our winning system for Task~B (generation with reference passages) in SemEval-2026 Task~8: MTRAGEval. Our method is a heterogeneous ensemble of seven LLMs with two prompting variants, where a GPT-4o-mini judge selects the best candidate per instance. We ranked 1st out of 26 teams, achieving a conditioned harmonic mean of 0.7827 and outperforming the strongest baseline (gpt-oss-120b, 0.6390). Ablations show that diversity in model families, scales, and prompting strategies is essential, with the ensemble consistently beating any single model. We also introduce Meno-Lite-0.1, a 7B domain-adapted model with a strong cost--performance trade-off, and analyse MTRAGEval, highlighting annotation limitations and directions for improvement. Our code is publicly available: https://github.com/RaguTeam/ragu_mtrag_semeval