SwiLTra-Bench: Il Benchmark Svizzero per la Traduzione Legale

SwiLTra-Bench: The Swiss Legal Translation Benchmark

March 3, 2025

Autori: Joel Niklaus, Jakob Merane, Luka Nenadic, Sina Ahmadi, Yingqiang Gao, Cyrill A. H. Chevalley, Claude Humbel, Christophe Gösken, Lorenzo Tanzi, Thomas Lüthi, Stefan Palombo, Spencer Poff, Boling Yang, Nan Wu, Matthew Guillod, Robin Mamié, Daniel Brunner, Julio Pereyra, Niko Grupen

cs.AI

Abstract

In Svizzera, la traduzione giuridica riveste un'importanza unica a causa delle quattro lingue ufficiali del paese e dei requisiti per la documentazione legale multilingue. Tuttavia, questo processo si basa tradizionalmente su professionisti che devono essere sia esperti legali che traduttori qualificati, creando colli di bottiglia e influenzando l'accesso effettivo alla giustizia. Per affrontare questa sfida, introduciamo SwiLTra-Bench, un benchmark multilingue completo di oltre 180.000 coppie di traduzioni legali svizzere allineate, comprendenti leggi, note introduttive e comunicati stampa in tutte le lingue svizzere insieme all'inglese, progettato per valutare i sistemi di traduzione basati su LLM. La nostra valutazione sistematica rivela che i modelli di frontiera raggiungono prestazioni di traduzione superiori in tutti i tipi di documenti, mentre i sistemi di traduzione specializzati eccellono specificamente nelle leggi ma hanno prestazioni inferiori nelle note introduttive. Attraverso test rigorosi e validazione da parte di esperti umani, dimostriamo che, sebbene il fine-tuning di SLM open migliori significativamente la qualità della loro traduzione, essi rimangono ancora indietro rispetto ai migliori modelli di frontiera con prompt zero-shot come Claude-3.5-Sonnet. Inoltre, presentiamo SwiLTra-Judge, un sistema di valutazione LLM specializzato che si allinea meglio con le valutazioni degli esperti umani.

English

In Switzerland legal translation is uniquely important due to the country's four official languages and requirements for multilingual legal documentation. However, this process traditionally relies on professionals who must be both legal experts and skilled translators -- creating bottlenecks and impacting effective access to justice. To address this challenge, we introduce SwiLTra-Bench, a comprehensive multilingual benchmark of over 180K aligned Swiss legal translation pairs comprising laws, headnotes, and press releases across all Swiss languages along with English, designed to evaluate LLM-based translation systems. Our systematic evaluation reveals that frontier models achieve superior translation performance across all document types, while specialized translation systems excel specifically in laws but under-perform in headnotes. Through rigorous testing and human expert validation, we demonstrate that while fine-tuning open SLMs significantly improves their translation quality, they still lag behind the best zero-shot prompted frontier models such as Claude-3.5-Sonnet. Additionally, we present SwiLTra-Judge, a specialized LLM evaluation system that aligns best with human expert assessments.