文学作品のAI翻訳は「まあまあ」だが、読者は依然として人間による翻訳を好む

要旨

文学作品のAI翻訳はますます一般的になっている。内容は適切に伝えられるかもしれないが、没入感や文学的効果といった点で読者がどのように体験するかについては十分に理解されていない。これらの側面は、自動機械翻訳の評価指標や流暢さ・適切さを対象とした人間による評価では捉えきれない。私たちは、フランス語、ポーランド語、日本語の最近の小説15作品を英語に翻訳したものについて、15人の熱心な読者に、最近出版された人間による翻訳（HT）と、エージェント型大規模言語モデル（LLM）ベースのパイプラインで生成された機械翻訳（MT）を比較してもらった。読者は、約8000語の抜粋を2つの条件で評価した。抜粋全体を没入読書する条件（30件の比較）と、386の対応するHT-MTチャンクペアを精読する条件（772件の比較）であり、各書籍につき2人の読者が交互に提示順序を変えて評価した。全体的に、読者はMTを「悪くない」と評価するが、HTを好む傾向にあり（抜粋レベルでは19/30でやや優勢、チャンクレベルでは522/772でより明確に優勢）、その読みやすさ、明瞭さ、没入感が評価された。読者のハイライトからは、MTの品質は1冊の書籍内でもHTよりもばらつきが大きいことが示された。重要なことに、読者は両者を確実に見分けることができず（17/30が正しく推測）、自分が人間による翻訳だと信じたバージョンを好む傾向があった。LLMを審判とするアプローチを含む自動評価指標は、読者の嗜好を再現できず、MTを優先する。私たちは、LAIT（Literary AI Translation：文学AI翻訳）を公開する。これは、1000件の読者コメント、2000件の判断および嗜好評価、7200件のスパンレベルのアノテーションを含む、読者中心の評価データセットであり、評価プロトコルと対応するインターフェースも併せて提供する。

English

AI translation of literary works is increasingly common. While the content may be rendered adequately, we do not know enough about how readers experience it in terms of immersiveness and literary effect, aspects poorly captured by automatic machine translation metrics or human evaluation targeting fluency and adequacy. We ask 15 avid readers to compare recently published human translations (HT) to machine translations (MT) generated with an agentic large language model (LLM)-based pipeline, for 15 recent novels in French, Polish, and Japanese and translated into English. Readers evaluated approximately 8K-word excerpts in two conditions: immersive reading of the whole excerpt (30 comparisons) and close reading of 386 aligned HT-MT chunk pairs (772 comparisons), with two readers per book and in alternating order of presentation. Overall, readers find MT "fine", but prefer HT (slightly at excerpt-level 19/30, more clearly at chunk-level 522/772) for its ease, clarity, and immersive nature. Readers' highlights show that MT's quality varies more within one book than HT's does. Crucially, readers cannot reliably tell the two apart (17/30 guess correctly) and tend to prefer the version they believe to be human. Automatic metrics, including LLM-as-a-judge approaches, fail to recover reader preferences and favor MT. We release LAIT (Literary AI Translation), a reader-centered evaluation dataset with 1K reader comments, 2K judgments and preference ratings, and 7.2K span-level annotations, along with our evaluation protocol and supporting interface.