SwiLTra-Bench: El Punto de Referencia para la Traducción Legal Suiza
SwiLTra-Bench: The Swiss Legal Translation Benchmark
March 3, 2025
Autores: Joel Niklaus, Jakob Merane, Luka Nenadic, Sina Ahmadi, Yingqiang Gao, Cyrill A. H. Chevalley, Claude Humbel, Christophe Gösken, Lorenzo Tanzi, Thomas Lüthi, Stefan Palombo, Spencer Poff, Boling Yang, Nan Wu, Matthew Guillod, Robin Mamié, Daniel Brunner, Julio Pereyra, Niko Grupen
cs.AI
Resumen
En Suiza, la traducción legal tiene una importancia única debido a los cuatro idiomas oficiales del país y a los requisitos de documentación jurídica multilingüe. Sin embargo, este proceso tradicionalmente depende de profesionales que deben ser tanto expertos en derecho como traductores capacitados, lo que genera cuellos de botella y afecta el acceso efectivo a la justicia. Para abordar este desafío, presentamos SwiLTra-Bench, un punto de referencia multilingüe integral que incluye más de 180K pares de traducciones legales suizas alineadas, que comprenden leyes, encabezados y comunicados de prensa en todos los idiomas suizos junto con el inglés, diseñado para evaluar sistemas de traducción basados en modelos de lenguaje grandes (LLM). Nuestra evaluación sistemática revela que los modelos de vanguardia logran un rendimiento de traducción superior en todos los tipos de documentos, mientras que los sistemas de traducción especializados sobresalen específicamente en leyes pero tienen un rendimiento inferior en encabezados. A través de pruebas rigurosas y validación por expertos humanos, demostramos que, aunque el ajuste fino de modelos de lenguaje abiertos (SLM) mejora significativamente su calidad de traducción, aún se quedan atrás en comparación con los mejores modelos de vanguardia con indicaciones de cero disparos, como Claude-3.5-Sonnet. Además, presentamos SwiLTra-Judge, un sistema de evaluación especializado basado en LLM que se alinea mejor con las evaluaciones de expertos humanos.
English
In Switzerland legal translation is uniquely important due to the country's
four official languages and requirements for multilingual legal documentation.
However, this process traditionally relies on professionals who must be both
legal experts and skilled translators -- creating bottlenecks and impacting
effective access to justice. To address this challenge, we introduce
SwiLTra-Bench, a comprehensive multilingual benchmark of over 180K aligned
Swiss legal translation pairs comprising laws, headnotes, and press releases
across all Swiss languages along with English, designed to evaluate LLM-based
translation systems. Our systematic evaluation reveals that frontier models
achieve superior translation performance across all document types, while
specialized translation systems excel specifically in laws but under-perform in
headnotes. Through rigorous testing and human expert validation, we demonstrate
that while fine-tuning open SLMs significantly improves their translation
quality, they still lag behind the best zero-shot prompted frontier models such
as Claude-3.5-Sonnet. Additionally, we present SwiLTra-Judge, a specialized LLM
evaluation system that aligns best with human expert assessments.