Dirigiendo Modelos de Lenguaje de Gran Escala para la Personalización de Traducción Automática
Steering Large Language Models for Machine Translation Personalization
May 22, 2025
Autores: Daniel Scalena, Gabriele Sarti, Arianna Bisazza, Elisabetta Fersini, Malvina Nissim
cs.AI
Resumen
Los sistemas de traducción automática de alta calidad basados en modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) han simplificado la producción de traducciones personalizadas que reflejan restricciones estilísticas específicas. Sin embargo, estos sistemas aún enfrentan dificultades en entornos donde los requisitos estilísticos son menos explícitos y pueden ser más difíciles de transmitir mediante indicaciones (prompting). Exploramos diversas estrategias para personalizar traducciones generadas por LLMs en entornos de bajos recursos, centrándonos en el desafiante dominio de la traducción literaria. Investigamos estrategias de indicación e intervenciones en tiempo de inferencia para guiar las generaciones del modelo hacia un estilo personalizado, y proponemos un marco contrastivo que aprovecha conceptos latentes extraídos de autoencoders dispersos para identificar propiedades destacadas de personalización. Nuestros resultados muestran que la guía logra una fuerte personalización mientras preserva la calidad de la traducción. Además, examinamos el impacto de la guía en las representaciones de los LLMs, encontrando que las capas del modelo con un impacto relevante para la personalización se ven afectadas de manera similar por el prompting de múltiples ejemplos (multi-shot) y nuestro método de guía, lo que sugiere mecanismos similares en juego.
English
High-quality machine translation systems based on large language models
(LLMs) have simplified the production of personalized translations reflecting
specific stylistic constraints. However, these systems still struggle in
settings where stylistic requirements are less explicit and might be harder to
convey via prompting. We explore various strategies for personalizing
LLM-generated translations in low-resource settings, focusing on the
challenging literary translation domain. We explore prompting strategies and
inference-time interventions for steering model generations towards a
personalized style, and propose a contrastive framework exploiting latent
concepts extracted from sparse autoencoders to identify salient personalization
properties. Our results show that steering achieves strong personalization
while preserving translation quality. We further examine the impact of steering
on LLM representations, finding model layers with a relevant impact for
personalization are impacted similarly by multi-shot prompting and our steering
method, suggesting similar mechanism at play.