AI 번역이 문학 텍스트에서 '괜찮은' 수준이지만, 독자들은 여전히 인간 번역을 선호한다.

초록

AI(인공지능)을 활용한 문학 작품 번역이 점차 보편화되고 있다. 내용이 적절하게 전달될 수는 있지만, 몰입도와 문학적 효과 측면에서 독자가 이를 어떻게 경험하는지에 대해서는 충분히 알려져 있지 않다. 이러한 측면은 자동 기계 번역 평가지표나 유창성과 적절성을 평가하는 인간 평가로는 제대로 포착되지 않는다. 본 연구에서는 15명의 열성 독자에게 최근 출간된 프랑스어, 폴란드어, 일본어 소설 15편을 영어로 번역한 인간 번역(HT)과 에이전틱 대규모 언어 모델(LLM) 기반 파이프라인으로 생성된 기계 번역(MT)을 비교하도록 요청했다. 독자들은 약 8,000단어 분량의 발췌문을 두 가지 조건으로 평가했다: 전체 발췌문을 몰입하여 읽는 방식(30건 비교)과 정렬된 HT-MT 청크 쌍 386개를 정밀하게 읽는 방식(772건 비교)으로, 각 책당 두 명의 독자가 번갈아 제시되는 순서로 진행했다. 전반적으로 독자들은 MT를 "괜찮다"고 평가했지만, HT가 더 쉽고 명확하며 몰입감이 있다는 이유로 HT를 선호했다(발췌문 수준에서는 30건 중 19건, 청크 수준에서는 772건 중 522건으로 약간 선호). 독자들이 강조한 내용을 보면, MT의 품질은 한 권의 책 내에서도 HT보다 변동성이 크다. 결정적으로, 독자들은 두 번역을 확실히 구분하지 못했으며(30건 중 17건을 정확히 추측), 자신이 인간 번역이라고 믿는 버전을 선호하는 경향을 보였다. LLM-as-a-judge 접근법을 포함한 자동 평가지표는 독자의 선호도를 반영하지 못하고 MT를 선호하는 방향으로 작용했다. 본 연구는 LAIT(Literary AI Translation, 문학 AI 번역) 데이터셋을 공개한다. 이는 독자 중심 평가 데이터셋으로, 독자 코멘트 1,000개, 판단 및 선호도 평가 2,000건, 7,200개의 스팬 수준 주석을 포함하며, 평가 프로토콜과 지원 인터페이스도 함께 제공한다.

English

AI translation of literary works is increasingly common. While the content may be rendered adequately, we do not know enough about how readers experience it in terms of immersiveness and literary effect, aspects poorly captured by automatic machine translation metrics or human evaluation targeting fluency and adequacy. We ask 15 avid readers to compare recently published human translations (HT) to machine translations (MT) generated with an agentic large language model (LLM)-based pipeline, for 15 recent novels in French, Polish, and Japanese and translated into English. Readers evaluated approximately 8K-word excerpts in two conditions: immersive reading of the whole excerpt (30 comparisons) and close reading of 386 aligned HT-MT chunk pairs (772 comparisons), with two readers per book and in alternating order of presentation. Overall, readers find MT "fine", but prefer HT (slightly at excerpt-level 19/30, more clearly at chunk-level 522/772) for its ease, clarity, and immersive nature. Readers' highlights show that MT's quality varies more within one book than HT's does. Crucially, readers cannot reliably tell the two apart (17/30 guess correctly) and tend to prefer the version they believe to be human. Automatic metrics, including LLM-as-a-judge approaches, fail to recover reader preferences and favor MT. We release LAIT (Literary AI Translation), a reader-centered evaluation dataset with 1K reader comments, 2K judgments and preference ratings, and 7.2K span-level annotations, along with our evaluation protocol and supporting interface.