Direcionando Modelos de Linguagem de Grande Escala para Personalização de Tradução Automática

Steering Large Language Models for Machine Translation Personalization

May 22, 2025

Autores: Daniel Scalena, Gabriele Sarti, Arianna Bisazza, Elisabetta Fersini, Malvina Nissim

cs.AI

Resumo

Sistemas de tradução automática de alta qualidade baseados em grandes modelos de linguagem (LLMs) simplificaram a produção de traduções personalizadas que refletem restrições estilísticas específicas. No entanto, esses sistemas ainda enfrentam dificuldades em cenários onde os requisitos estilísticos são menos explícitos e podem ser mais difíceis de transmitir por meio de prompts. Exploramos várias estratégias para personalizar traduções geradas por LLMs em contextos de baixos recursos, com foco no desafiador domínio da tradução literária. Investigamos estratégias de prompting e intervenções durante a inferência para direcionar as gerações do modelo para um estilo personalizado, e propomos um framework contrastivo que explora conceitos latentes extraídos de autoencoders esparsos para identificar propriedades salientes de personalização. Nossos resultados mostram que o direcionamento alcança uma forte personalização enquanto preserva a qualidade da tradução. Além disso, examinamos o impacto do direcionamento nas representações dos LLMs, descobrindo que as camadas do modelo com impacto relevante para personalização são afetadas de forma semelhante por prompting multi-shot e nosso método de direcionamento, sugerindo mecanismos semelhantes em ação.

English

High-quality machine translation systems based on large language models (LLMs) have simplified the production of personalized translations reflecting specific stylistic constraints. However, these systems still struggle in settings where stylistic requirements are less explicit and might be harder to convey via prompting. We explore various strategies for personalizing LLM-generated translations in low-resource settings, focusing on the challenging literary translation domain. We explore prompting strategies and inference-time interventions for steering model generations towards a personalized style, and propose a contrastive framework exploiting latent concepts extracted from sparse autoencoders to identify salient personalization properties. Our results show that steering achieves strong personalization while preserving translation quality. We further examine the impact of steering on LLM representations, finding model layers with a relevant impact for personalization are impacted similarly by multi-shot prompting and our steering method, suggesting similar mechanism at play.