Het Sturen van Grote Taalmodellen voor Personalisatie van Machinevertaling

Steering Large Language Models for Machine Translation Personalization

May 22, 2025

Auteurs: Daniel Scalena, Gabriele Sarti, Arianna Bisazza, Elisabetta Fersini, Malvina Nissim

cs.AI

Samenvatting

Hoogwaardige machinevertalingssystemen gebaseerd op grote taalmmodellen (LLM's) hebben de productie van gepersonaliseerde vertalingen die specifieke stilistische beperkingen weerspiegelen, vereenvoudigd. Deze systemen hebben echter nog steeds moeite in situaties waar stilistische vereisten minder expliciet zijn en mogelijk moeilijker over te brengen zijn via prompting. We onderzoeken verschillende strategieën voor het personaliseren van door LLM's gegenereerde vertalingen in omgevingen met beperkte bronnen, met de focus op het uitdagende domein van literaire vertaling. We onderzoeken promptingstrategieën en interventies tijdens de inferentie om modelgeneraties te sturen naar een gepersonaliseerde stijl, en stellen een contrastief raamwerk voor dat gebruikmaakt van latente concepten die zijn geëxtraheerd uit sparse auto-encoders om opvallende personalisatie-eigenschappen te identificeren. Onze resultaten tonen aan dat sturing sterke personalisatie bereikt terwijl de vertaalkwaliteit behouden blijft. We onderzoeken verder de impact van sturing op LLM-representaties en vinden dat modellagen met een relevante impact voor personalisatie op een vergelijkbare manier worden beïnvloed door multi-shot prompting en onze sturingsmethode, wat suggereert dat vergelijkbare mechanismen een rol spelen.

English

High-quality machine translation systems based on large language models (LLMs) have simplified the production of personalized translations reflecting specific stylistic constraints. However, these systems still struggle in settings where stylistic requirements are less explicit and might be harder to convey via prompting. We explore various strategies for personalizing LLM-generated translations in low-resource settings, focusing on the challenging literary translation domain. We explore prompting strategies and inference-time interventions for steering model generations towards a personalized style, and propose a contrastive framework exploiting latent concepts extracted from sparse autoencoders to identify salient personalization properties. Our results show that steering achieves strong personalization while preserving translation quality. We further examine the impact of steering on LLM representations, finding model layers with a relevant impact for personalization are impacted similarly by multi-shot prompting and our steering method, suggesting similar mechanism at play.