大規模言語モデルを用いた機械翻訳のパーソナライゼーションの制御

Steering Large Language Models for Machine Translation Personalization

May 22, 2025

著者: Daniel Scalena, Gabriele Sarti, Arianna Bisazza, Elisabetta Fersini, Malvina Nissim

cs.AI

要旨

大規模言語モデル（LLM）に基づく高品質な機械翻訳システムは、特定のスタイル的制約を反映したパーソナライズされた翻訳の生成を簡素化してきました。しかし、これらのシステムは、スタイル的要件がより曖昧で、プロンプトを通じて伝達することが難しい状況では依然として苦戦しています。本研究では、リソースが限られた環境におけるLLM生成翻訳のパーソナライゼーションに向けた様々な戦略を探求し、特に挑戦的な文学翻訳領域に焦点を当てます。パーソナライズされたスタイルに向けてモデルの生成を誘導するためのプロンプト戦略と推論時の介入を検討し、スパースオートエンコーダから抽出された潜在概念を活用して顕著なパーソナライゼーション特性を特定する対照的フレームワークを提案します。結果は、誘導が翻訳品質を維持しながら強力なパーソナライゼーションを実現することを示しています。さらに、誘導がLLMの表現に与える影響を検証し、パーソナライゼーションに関連する影響を持つモデル層が、マルチショットプロンプトと我々の誘導方法によって同様に影響を受けることを発見しました。これは、類似のメカニズムが働いていることを示唆しています。

English

High-quality machine translation systems based on large language models (LLMs) have simplified the production of personalized translations reflecting specific stylistic constraints. However, these systems still struggle in settings where stylistic requirements are less explicit and might be harder to convey via prompting. We explore various strategies for personalizing LLM-generated translations in low-resource settings, focusing on the challenging literary translation domain. We explore prompting strategies and inference-time interventions for steering model generations towards a personalized style, and propose a contrastive framework exploiting latent concepts extracted from sparse autoencoders to identify salient personalization properties. Our results show that steering achieves strong personalization while preserving translation quality. We further examine the impact of steering on LLM representations, finding model layers with a relevant impact for personalization are impacted similarly by multi-shot prompting and our steering method, suggesting similar mechanism at play.