SwiLTra-Bench: O Benchmark de Tradução Jurídica Suíça

SwiLTra-Bench: The Swiss Legal Translation Benchmark

March 3, 2025

Autores: Joel Niklaus, Jakob Merane, Luka Nenadic, Sina Ahmadi, Yingqiang Gao, Cyrill A. H. Chevalley, Claude Humbel, Christophe Gösken, Lorenzo Tanzi, Thomas Lüthi, Stefan Palombo, Spencer Poff, Boling Yang, Nan Wu, Matthew Guillod, Robin Mamié, Daniel Brunner, Julio Pereyra, Niko Grupen

cs.AI

Resumo

Na Suíça, a tradução jurídica é particularmente importante devido aos quatro idiomas oficiais do país e às exigências de documentação legal multilíngue. No entanto, esse processo tradicionalmente depende de profissionais que devem ser tanto especialistas em direito quanto tradutores habilidosos — o que cria gargalos e impacta o acesso efetivo à justiça. Para enfrentar esse desafio, apresentamos o SwiLTra-Bench, um benchmark multilíngue abrangente de mais de 180 mil pares de traduções jurídicas suíças alinhadas, incluindo leis, ementas e comunicados de imprensa em todos os idiomas suíços, além do inglês, projetado para avaliar sistemas de tradução baseados em LLMs (Modelos de Linguagem de Grande Escala). Nossa avaliação sistemática revela que os modelos de ponta alcançam desempenho superior em traduções em todos os tipos de documentos, enquanto sistemas de tradução especializados se destacam especificamente em leis, mas têm desempenho inferior em ementas. Por meio de testes rigorosos e validação de especialistas humanos, demonstramos que, embora o ajuste fino de SLMs (Modelos de Linguagem Especializados) abertos melhore significativamente a qualidade de suas traduções, eles ainda ficam aquém dos melhores modelos de ponta com prompt zero-shot, como o Claude-3.5-Sonnet. Além disso, apresentamos o SwiLTra-Judge, um sistema de avaliação especializado baseado em LLM que melhor se alinha com as avaliações de especialistas humanos.

English

In Switzerland legal translation is uniquely important due to the country's four official languages and requirements for multilingual legal documentation. However, this process traditionally relies on professionals who must be both legal experts and skilled translators -- creating bottlenecks and impacting effective access to justice. To address this challenge, we introduce SwiLTra-Bench, a comprehensive multilingual benchmark of over 180K aligned Swiss legal translation pairs comprising laws, headnotes, and press releases across all Swiss languages along with English, designed to evaluate LLM-based translation systems. Our systematic evaluation reveals that frontier models achieve superior translation performance across all document types, while specialized translation systems excel specifically in laws but under-perform in headnotes. Through rigorous testing and human expert validation, we demonstrate that while fine-tuning open SLMs significantly improves their translation quality, they still lag behind the best zero-shot prompted frontier models such as Claude-3.5-Sonnet. Additionally, we present SwiLTra-Judge, a specialized LLM evaluation system that aligns best with human expert assessments.