대규모 언어 모델을 활용한 기계 번역 개인화 조정

Steering Large Language Models for Machine Translation Personalization

May 22, 2025

저자: Daniel Scalena, Gabriele Sarti, Arianna Bisazza, Elisabetta Fersini, Malvina Nissim

cs.AI

초록

대규모 언어 모델(LLM) 기반의 고품질 기계 번역 시스템은 특정 스타일적 제약을 반영한 맞춤형 번역 생산을 간소화했습니다. 그러나 이러한 시스템은 스타일적 요구사항이 덜 명시적이고 프롬프팅을 통해 전달하기 어려운 환경에서는 여전히 어려움을 겪고 있습니다. 본 연구는 자원이 부족한 환경에서 LLM 생성 번역을 개인화하기 위한 다양한 전략을 탐구하며, 특히 도전적인 문학 번역 분야에 초점을 맞춥니다. 우리는 맞춤형 스타일로 모델 생성물을 유도하기 위한 프롬프팅 전략과 추론 시점 개입을 탐구하고, 희소 오토인코더에서 추출된 잠재 개념을 활용하여 두드러진 개인화 특성을 식별하는 대조적 프레임워크를 제안합니다. 연구 결과에 따르면, 유도 전략은 번역 품질을 유지하면서 강력한 개인화를 달성합니다. 또한, 우리는 유도가 LLM 표현에 미치는 영향을 추가로 검토하여, 개인화에 관련된 영향을 미치는 모델 계층이 멀티샷 프롬프팅과 우리의 유도 방법에 의해 유사하게 영향을 받는다는 것을 발견했습니다. 이는 유사한 메커니즘이 작용하고 있음을 시사합니다.

English

High-quality machine translation systems based on large language models (LLMs) have simplified the production of personalized translations reflecting specific stylistic constraints. However, these systems still struggle in settings where stylistic requirements are less explicit and might be harder to convey via prompting. We explore various strategies for personalizing LLM-generated translations in low-resource settings, focusing on the challenging literary translation domain. We explore prompting strategies and inference-time interventions for steering model generations towards a personalized style, and propose a contrastive framework exploiting latent concepts extracted from sparse autoencoders to identify salient personalization properties. Our results show that steering achieves strong personalization while preserving translation quality. We further examine the impact of steering on LLM representations, finding model layers with a relevant impact for personalization are impacted similarly by multi-shot prompting and our steering method, suggesting similar mechanism at play.