Cirugía Lingüística en Modelos de Lenguaje Multilingües de Gran Escala

Resumen

Los Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés) han demostrado capacidades notables de generalización en tareas y lenguajes, revolucionando el procesamiento del lenguaje natural. Este artículo investiga la alineación de representaciones que emerge naturalmente en los LLMs, particularmente en las capas intermedias, y sus implicaciones para desentrañar información específica del lenguaje y agnóstica al mismo. Confirmamos empíricamente la existencia de esta alineación, analizamos su comportamiento en comparación con modelos de alineación diseñados explícitamente y demostramos su potencial para la manipulación específica del lenguaje sin degradación semántica. Basándonos en estos hallazgos, proponemos el Control de Lenguaje en Tiempo de Inferencia (ITLC, por sus siglas en inglés), un método novedoso que aprovecha la inyección latente para permitir un control lingüístico preciso entre idiomas y mitigar la confusión lingüística en los LLMs. Nuestros experimentos destacan las fuertes capacidades de control multilingüe del ITLC mientras se preserva la integridad semántica en los idiomas objetivo. Además, demostramos su eficacia para aliviar el problema de confusión lingüística entre idiomas, que persiste incluso en los LLMs de gran escala actuales, lo que conduce a una generación de lenguaje inconsistente. Este trabajo avanza nuestra comprensión de la alineación de representaciones en los LLMs e introduce una solución práctica para mejorar su rendimiento multilingüe.

English

Large Language Models (LLMs) have demonstrated remarkable generalization capabilities across tasks and languages, revolutionizing natural language processing. This paper investigates the naturally emerging representation alignment in LLMs, particularly in the middle layers, and its implications for disentangling language-specific and language-agnostic information. We empirically confirm the existence of this alignment, analyze its behavior in comparison to explicitly designed alignment models, and demonstrate its potential for language-specific manipulation without semantic degradation. Building on these findings, we propose Inference-Time Language Control (ITLC), a novel method that leverages latent injection to enable precise cross-lingual language control and mitigate language confusion in LLMs. Our experiments highlight ITLC's strong cross-lingual control capabilities while preserving semantic integrity in target languages. Furthermore, we demonstrate its effectiveness in alleviating the cross-lingual language confusion problem, which persists even in current large-scale LLMs, leading to inconsistent language generation. This work advances our understanding of representation alignment in LLMs and introduces a practical solution for enhancing their cross-lingual performance.

Cirugía Lingüística en Modelos de Lenguaje Multilingües de Gran Escala

Language Surgery in Multilingual Large Language Models

Resumen

Support