Pilotage des grands modèles de langage pour la personnalisation de la traduction automatique

Steering Large Language Models for Machine Translation Personalization

May 22, 2025

Auteurs: Daniel Scalena, Gabriele Sarti, Arianna Bisazza, Elisabetta Fersini, Malvina Nissim

cs.AI

Résumé

Les systèmes de traduction automatique de haute qualité basés sur des modèles de langage de grande taille (LLMs) ont simplifié la production de traductions personnalisées reflétant des contraintes stylistiques spécifiques. Cependant, ces systèmes rencontrent encore des difficultés dans des contextes où les exigences stylistiques sont moins explicites et pourraient être plus difficiles à transmettre via des prompts. Nous explorons diverses stratégies pour personnaliser les traductions générées par des LLMs dans des contextes à faibles ressources, en nous concentrant sur le domaine complexe de la traduction littéraire. Nous examinons des stratégies de prompting et des interventions au moment de l'inférence pour orienter les générations du modèle vers un style personnalisé, et proposons un cadre contrastif exploitant des concepts latents extraits d'autoencodeurs parcimonieux pour identifier des propriétés de personnalisation saillantes. Nos résultats montrent que l'orientation permet une forte personnalisation tout en préservant la qualité de la traduction. Nous examinons également l'impact de l'orientation sur les représentations des LLMs, constatant que les couches du modèle ayant un impact pertinent pour la personnalisation sont affectées de manière similaire par le prompting multi-shot et notre méthode d'orientation, suggérant des mécanismes similaires en jeu.

English

High-quality machine translation systems based on large language models (LLMs) have simplified the production of personalized translations reflecting specific stylistic constraints. However, these systems still struggle in settings where stylistic requirements are less explicit and might be harder to convey via prompting. We explore various strategies for personalizing LLM-generated translations in low-resource settings, focusing on the challenging literary translation domain. We explore prompting strategies and inference-time interventions for steering model generations towards a personalized style, and propose a contrastive framework exploiting latent concepts extracted from sparse autoencoders to identify salient personalization properties. Our results show that steering achieves strong personalization while preserving translation quality. We further examine the impact of steering on LLM representations, finding model layers with a relevant impact for personalization are impacted similarly by multi-shot prompting and our steering method, suggesting similar mechanism at play.