Steuerung großer Sprachmodelle zur Personalisierung der maschinellen Übersetzung

Steering Large Language Models for Machine Translation Personalization

May 22, 2025

Autoren: Daniel Scalena, Gabriele Sarti, Arianna Bisazza, Elisabetta Fersini, Malvina Nissim

cs.AI

Zusammenfassung

Hochwertige maschinelle Übersetzungssysteme, die auf großen Sprachmodellen (LLMs) basieren, haben die Erstellung personalisierter Übersetzungen, die spezifische stilistische Anforderungen widerspiegeln, vereinfacht. Dennoch stoßen diese Systeme in Kontexten an ihre Grenzen, in denen stilistische Vorgaben weniger explizit sind und möglicherweise schwerer durch Prompting vermittelt werden können. Wir untersuchen verschiedene Strategien zur Personalisierung von LLM-generierten Übersetzungen in ressourcenarmen Umgebungen, wobei wir uns auf den anspruchsvollen Bereich der literarischen Übersetzung konzentrieren. Wir erforschen Prompting-Strategien und Interventionen zur Laufzeit, um die Modellgenerationen in Richtung eines personalisierten Stils zu lenken, und schlagen ein kontrastives Framework vor, das latente Konzepte aus spärlichen Autoencodern nutzt, um relevante Personalisierungseigenschaften zu identifizieren. Unsere Ergebnisse zeigen, dass das Lenken eine starke Personalisierung erreicht, während die Übersetzungsqualität erhalten bleibt. Darüber hinaus untersuchen wir die Auswirkungen des Lenkens auf die Repräsentationen der LLMs und stellen fest, dass Modellschichten, die einen relevanten Einfluss auf die Personalisierung haben, sowohl durch Multi-Shot-Prompting als auch durch unsere Lenkmethode ähnlich beeinflusst werden, was auf ähnliche zugrunde liegende Mechanismen hindeutet.

English

High-quality machine translation systems based on large language models (LLMs) have simplified the production of personalized translations reflecting specific stylistic constraints. However, these systems still struggle in settings where stylistic requirements are less explicit and might be harder to convey via prompting. We explore various strategies for personalizing LLM-generated translations in low-resource settings, focusing on the challenging literary translation domain. We explore prompting strategies and inference-time interventions for steering model generations towards a personalized style, and propose a contrastive framework exploiting latent concepts extracted from sparse autoencoders to identify salient personalization properties. Our results show that steering achieves strong personalization while preserving translation quality. We further examine the impact of steering on LLM representations, finding model layers with a relevant impact for personalization are impacted similarly by multi-shot prompting and our steering method, suggesting similar mechanism at play.