Razonamiento sobre la gramática: ¿Pueden las trazas sintéticas de razonamiento lingüístico mejorar la traducción automática de bajos recursos?

Resumen

Los modelos de lenguaje grandes (LLMs) ofrecen un enfoque prometedor para la traducción automática (MT) de lenguas con recursos extremadamente limitados, al incorporar recursos lingüísticos mediante aprendizaje en contexto. Sin embargo, los LLMs a menudo tienen dificultades para aplicar información gramatical de manera efectiva durante la traducción. Inspirados por los avances recientes en el razonamiento en cadena de pensamiento, investigamos si la MT para lenguas con recursos limitados puede beneficiarse de pasos intermedios estructurados de análisis lingüístico y razonamiento gramatical. Proponemos un pipeline para generar automáticamente trazas de razonamiento lingüístico paso a paso a partir de bancos de árboles de Dependencias Universales, diccionarios y bancos de reglas gramaticales. Evaluamos estas trazas en tres escenarios: aprendizaje en contexto (ICL), ajuste fino supervisado (SFT) y ajuste fino por refuerzo (RFT), utilizando Xibe y Chintang como casos de prueba. Nuestros resultados muestran que las trazas de razonamiento lingüístico son más efectivas como guía en tiempo de inferencia: en ICL, las trazas confiables y específicas de cada oración mejoran sustancialmente el rendimiento de la traducción en la mayoría de los modelos, lenguas y métricas. En contraste, el uso de las trazas de razonamiento lingüístico como datos de entrenamiento produce mejoras menores y menos consistentes, ya que los modelos aprenden el formato de la traza pero a menudo generan contenido erróneo. Estos hallazgos sugieren que los LLMs pueden aprovechar la información gramatical para la MT de lenguas con recursos limitados cuando se les proporcionan análisis lingüísticos confiables, mientras que aprender a generar dichos análisis sigue siendo un cuello de botella importante.

English

Large language models (LLMs) offer a promising approach to machine translation (MT) for extremely low-resource languages by incorporating linguistic resources through in-context learning. However, LLMs often struggle to apply grammatical information effectively during translation. Inspired by recent progress in chain-of-thought reasoning, we investigate whether low-resource MT can benefit from structured intermediate steps of linguistic analysis and grammatical reasoning. We propose a pipeline for automatically generating step-by-step linguistic reasoning traces from Universal Dependencies treebanks, dictionaries, and grammar-rule banks. We evaluate these traces in three settings: in-context learning (ICL), supervised fine-tuning (SFT), and reinforcement fine-tuning (RFT), on Xibe and Chintang as test cases. Our results show that linguistic reasoning traces are most effective as inference-time guidance: in ICL, reliable sentence-specific traces substantially improve translation performance across most models, languages, and metrics. In contrast, using the linguistic reasoning traces as training data yields smaller and less consistent gains, as models learn the trace format but often generate erroneous content. These findings suggest that LLMs can leverage grammatical information for low-resource MT when given reliable linguistic analyses, while learning to generate such analyses remains a major bottleneck.