Guidare i Modelli Linguistici di Grande Scala per la Personalizzazione della Traduzione Automatica

Steering Large Language Models for Machine Translation Personalization

May 22, 2025

Autori: Daniel Scalena, Gabriele Sarti, Arianna Bisazza, Elisabetta Fersini, Malvina Nissim

cs.AI

Abstract

I sistemi di traduzione automatica di alta qualità basati su modelli linguistici di grandi dimensioni (LLM) hanno semplificato la produzione di traduzioni personalizzate che riflettono vincoli stilistici specifici. Tuttavia, questi sistemi continuano a incontrare difficoltà in contesti in cui i requisiti stilistici sono meno espliciti e potrebbero essere più difficili da trasmettere tramite prompt. Esploriamo varie strategie per personalizzare le traduzioni generate da LLM in contesti a basso contenuto di risorse, concentrandoci sul dominio impegnativo della traduzione letteraria. Analizziamo strategie di prompting e interventi al momento dell'inferenza per orientare le generazioni del modello verso uno stile personalizzato, e proponiamo un framework contrastivo che sfrutta concetti latenti estratti da autoencoder sparsi per identificare proprietà salienti di personalizzazione. I nostri risultati dimostrano che l'orientamento consente una forte personalizzazione preservando la qualità della traduzione. Esaminiamo inoltre l'impatto dell'orientamento sulle rappresentazioni dei LLM, riscontrando che i livelli del modello con un impatto rilevante per la personalizzazione sono influenzati in modo simile dal prompting multi-shot e dal nostro metodo di orientamento, suggerendo meccanismi simili in azione.

English

High-quality machine translation systems based on large language models (LLMs) have simplified the production of personalized translations reflecting specific stylistic constraints. However, these systems still struggle in settings where stylistic requirements are less explicit and might be harder to convey via prompting. We explore various strategies for personalizing LLM-generated translations in low-resource settings, focusing on the challenging literary translation domain. We explore prompting strategies and inference-time interventions for steering model generations towards a personalized style, and propose a contrastive framework exploiting latent concepts extracted from sparse autoencoders to identify salient personalization properties. Our results show that steering achieves strong personalization while preserving translation quality. We further examine the impact of steering on LLM representations, finding model layers with a relevant impact for personalization are impacted similarly by multi-shot prompting and our steering method, suggesting similar mechanism at play.