Raciocínio sobre Gramática: Os Rastros de Raciocínio Linguístico Sintético Podem Aprimorar a Tradução Automática de Baixos Recursos?

Resumo

Grandes modelos de linguagem (LLMs) oferecem uma abordagem promissora para a tradução automática (MT) de línguas extremamente de baixos recursos, ao incorporar recursos linguísticos por meio de aprendizado em contexto. No entanto, LLMs frequentemente têm dificuldade em aplicar informações gramaticais de forma eficaz durante a tradução. Inspirados pelos avanços recentes no raciocínio em cadeia de pensamento, investigamos se a MT de baixos recursos pode se beneficiar de etapas intermediárias estruturadas de análise linguística e raciocínio gramatical. Propomos um pipeline para gerar automaticamente traços de raciocínio linguístico passo a passo a partir de treebanks de Dependências Universais, dicionários e bancos de regras gramaticais. Avaliamos esses traços em três configurações: aprendizado em contexto (ICL), ajuste fino supervisionado (SFT) e ajuste fino por reforço (RFT), com Xibe e Chintang como casos de teste. Nossos resultados mostram que os traços de raciocínio linguístico são mais eficazes como orientação durante a inferência: no ICL, traços confiáveis específicos da frase melhoram substancialmente o desempenho da tradução na maioria dos modelos, línguas e métricas. Em contraste, usar os traços de raciocínio linguístico como dados de treinamento produz ganhos menores e menos consistentes, pois os modelos aprendem o formato do traço, mas frequentemente geram conteúdo errôneo. Essas descobertas sugerem que LLMs podem aproveitar informações gramaticais para MT de baixos recursos quando recebem análises linguísticas confiáveis, enquanto aprender a gerar tais análises continua sendo um grande gargalo.

English

Large language models (LLMs) offer a promising approach to machine translation (MT) for extremely low-resource languages by incorporating linguistic resources through in-context learning. However, LLMs often struggle to apply grammatical information effectively during translation. Inspired by recent progress in chain-of-thought reasoning, we investigate whether low-resource MT can benefit from structured intermediate steps of linguistic analysis and grammatical reasoning. We propose a pipeline for automatically generating step-by-step linguistic reasoning traces from Universal Dependencies treebanks, dictionaries, and grammar-rule banks. We evaluate these traces in three settings: in-context learning (ICL), supervised fine-tuning (SFT), and reinforcement fine-tuning (RFT), on Xibe and Chintang as test cases. Our results show that linguistic reasoning traces are most effective as inference-time guidance: in ICL, reliable sentence-specific traces substantially improve translation performance across most models, languages, and metrics. In contrast, using the linguistic reasoning traces as training data yields smaller and less consistent gains, as models learn the trace format but often generate erroneous content. These findings suggest that LLMs can leverage grammatical information for low-resource MT when given reliable linguistic analyses, while learning to generate such analyses remains a major bottleneck.