KI-Übersetzungen literarischer Texte sind zwar „in Ordnung“, aber Leser bevorzugen dennoch menschliche Übersetzungen.

Zusammenfassung

KI-Übersetzungen literarischer Werke werden zunehmend üblich. Zwar mag der Inhalt angemessen wiedergegeben werden, doch wissen wir nicht genug darüber, wie Leser diese in Bezug auf Immersion und literarische Wirkung erleben – Aspekte, die von automatischen maschinellen Übersetzungsmetriken oder menschlichen Bewertungen, die auf Flüssigkeit und Angemessenheit abzielen, nur unzureichend erfasst werden. Wir bitten 15 begeisterte Leser, kürzlich veröffentlichte menschliche Übersetzungen (HT) mit maschinellen Übersetzungen (MT) zu vergleichen, die mit einer Pipeline auf Basis eines agentischen großen Sprachmodells (LLM) erstellt wurden, und zwar für 15 neuere Romane auf Französisch, Polnisch und Japanisch, die ins Englische übersetzt wurden. Die Leser bewerteten etwa 8.000 Wörter umfassende Auszüge unter zwei Bedingungen: immersives Lesen des gesamten Auszugs (30 Vergleiche) und genaues Lesen von 386 aufeinander abgestimmten HT-MT-Abschnittspaaren (772 Vergleiche), mit zwei Lesern pro Buch und in abwechselnder Präsentationsreihenfolge. Insgesamt empfinden die Leser MT als "in Ordnung", bevorzugen jedoch HT (auf Auszugsebene leicht mit 19/30, auf Abschnittsebene deutlicher mit 522/772) aufgrund ihrer Leichtigkeit, Klarheit und immersiven Natur. Die Hervorhebungen der Leser zeigen, dass die Qualität von MT innerhalb eines Buches stärker variiert als die von HT. Entscheidend ist, dass Leser die beiden nicht zuverlässig unterscheiden können (17/30 erraten richtig) und dazu neigen, die Version zu bevorzugen, die sie für menschlich halten. Automatische Metriken, einschließlich LLM-als-Richter-Ansätzen, können die Leserpräferenzen nicht abbilden und begünstigen MT. Wir veröffentlichen LAIT (Literary AI Translation), einen leserzentrierten Evaluierungsdatensatz mit 1.000 Leserkommentaren, 2.000 Beurteilungen und Präferenzbewertungen sowie 7.200 annotierten Textabschnitten, zusammen mit unserem Evaluierungsprotokoll und der unterstützenden Benutzeroberfläche.

English

AI translation of literary works is increasingly common. While the content may be rendered adequately, we do not know enough about how readers experience it in terms of immersiveness and literary effect, aspects poorly captured by automatic machine translation metrics or human evaluation targeting fluency and adequacy. We ask 15 avid readers to compare recently published human translations (HT) to machine translations (MT) generated with an agentic large language model (LLM)-based pipeline, for 15 recent novels in French, Polish, and Japanese and translated into English. Readers evaluated approximately 8K-word excerpts in two conditions: immersive reading of the whole excerpt (30 comparisons) and close reading of 386 aligned HT-MT chunk pairs (772 comparisons), with two readers per book and in alternating order of presentation. Overall, readers find MT "fine", but prefer HT (slightly at excerpt-level 19/30, more clearly at chunk-level 522/772) for its ease, clarity, and immersive nature. Readers' highlights show that MT's quality varies more within one book than HT's does. Crucially, readers cannot reliably tell the two apart (17/30 guess correctly) and tend to prefer the version they believe to be human. Automatic metrics, including LLM-as-a-judge approaches, fail to recover reader preferences and favor MT. We release LAIT (Literary AI Translation), a reader-centered evaluation dataset with 1K reader comments, 2K judgments and preference ratings, and 7.2K span-level annotations, along with our evaluation protocol and supporting interface.