SwiLTra-Bench: Der Schweizer Benchmark für juristische Übersetzungen

SwiLTra-Bench: The Swiss Legal Translation Benchmark

March 3, 2025

Autoren: Joel Niklaus, Jakob Merane, Luka Nenadic, Sina Ahmadi, Yingqiang Gao, Cyrill A. H. Chevalley, Claude Humbel, Christophe Gösken, Lorenzo Tanzi, Thomas Lüthi, Stefan Palombo, Spencer Poff, Boling Yang, Nan Wu, Matthew Guillod, Robin Mamié, Daniel Brunner, Julio Pereyra, Niko Grupen

cs.AI

Zusammenfassung

In der Schweiz ist die juristische Übersetzung aufgrund der vier offiziellen Landessprachen und der Anforderungen an mehrsprachige Rechtsdokumente von besonderer Bedeutung. Dieser Prozess stützt sich traditionell auf Fachleute, die sowohl juristische Experten als auch versierte Übersetzer sein müssen – was Engpässe verursacht und den effektiven Zugang zur Justiz beeinträchtigt. Um diese Herausforderung zu bewältigen, stellen wir SwiLTra-Bench vor, einen umfassenden mehrsprachigen Benchmark mit über 180.000 ausgerichteten Schweizer juristischen Übersetzungspaaren, bestehend aus Gesetzen, Leitsätzen und Pressemitteilungen in allen Schweizer Sprachen sowie Englisch, der zur Bewertung von LLM-basierten Übersetzungssystemen entwickelt wurde. Unsere systematische Auswertung zeigt, dass führende Modelle bei allen Dokumenttypen eine überlegene Übersetzungsleistung erzielen, während spezialisierte Übersetzungssysteme insbesondere bei Gesetzen hervorstechen, bei Leitsätzen jedoch unterdurchschnittlich abschneiden. Durch rigorose Tests und Validierung durch menschliche Experten demonstrieren wir, dass die Feinabstimmung offener SLMs deren Übersetzungsqualität zwar erheblich verbessert, sie jedoch immer noch hinter den besten Null-Shot-prompted führenden Modellen wie Claude-3.5-Sonnet zurückbleiben. Zudem präsentieren wir SwiLTra-Judge, ein spezialisiertes LLM-Bewertungssystem, das am besten mit den Beurteilungen menschlicher Experten übereinstimmt.

English

In Switzerland legal translation is uniquely important due to the country's four official languages and requirements for multilingual legal documentation. However, this process traditionally relies on professionals who must be both legal experts and skilled translators -- creating bottlenecks and impacting effective access to justice. To address this challenge, we introduce SwiLTra-Bench, a comprehensive multilingual benchmark of over 180K aligned Swiss legal translation pairs comprising laws, headnotes, and press releases across all Swiss languages along with English, designed to evaluate LLM-based translation systems. Our systematic evaluation reveals that frontier models achieve superior translation performance across all document types, while specialized translation systems excel specifically in laws but under-perform in headnotes. Through rigorous testing and human expert validation, we demonstrate that while fine-tuning open SLMs significantly improves their translation quality, they still lag behind the best zero-shot prompted frontier models such as Claude-3.5-Sonnet. Additionally, we present SwiLTra-Judge, a specialized LLM evaluation system that aligns best with human expert assessments.