Grammatikbasiertes Denken: Können synthetische linguistische Denkspuren die ressourcenarme maschinelle Übersetzung verbessern?

Zusammenfassung

Große Sprachmodelle (Large Language Models, LLMs) bieten einen vielversprechenden Ansatz für die maschinelle Übersetzung (Machine Translation, MT) extrem ressourcenarmer Sprachen, indem sie linguistische Ressourcen durch kontextuelles Lernen (In-Context Learning) einbeziehen. Allerdings fällt es LLMs oft schwer, grammatikalische Informationen während der Übersetzung effektiv anzuwenden. Inspiriert von jüngsten Fortschritten im Bereich des Ketten-Denkens (Chain-of-Thought Reasoning) untersuchen wir, ob die ressourcenarme MT von strukturierten Zwischenschritten der linguistischen Analyse und des grammatikalischen Denkens profitieren kann. Wir schlagen eine Pipeline vor, die schrittweise linguistische Denkspuren automatisch aus Universal-Dependencies-Baumbanken, Wörterbüchern und Grammatikregelbanken generiert. Wir evaluieren diese Spuren in drei Umgebungen: kontextuelles Lernen (ICL), überwachtes Feintuning (SFT) und verstärkendes Feintuning (RFT), wobei Xibe und Chintang als Testfälle dienen. Unsere Ergebnisse zeigen, dass linguistische Denkspuren am effektivsten als Leitfaden während der Inferenz wirken: Bei ICL verbessern zuverlässige satzspezifische Spuren die Übersetzungsleistung in den meisten Modellen, Sprachen und Metriken erheblich. Im Gegensatz dazu führen linguistische Denkspuren als Trainingsdaten zu geringeren und weniger konsistenten Verbesserungen, da die Modelle das Format der Spuren lernen, aber oft fehlerhafte Inhalte generieren. Diese Ergebnisse legen nahe, dass LLMs grammatikalische Informationen für die ressourcenarme MT nutzen können, wenn zuverlässige linguistische Analysen vorliegen, während das Erlernen der Erzeugung solcher Analysen weiterhin ein wesentlicher Engpass bleibt.

English

Large language models (LLMs) offer a promising approach to machine translation (MT) for extremely low-resource languages by incorporating linguistic resources through in-context learning. However, LLMs often struggle to apply grammatical information effectively during translation. Inspired by recent progress in chain-of-thought reasoning, we investigate whether low-resource MT can benefit from structured intermediate steps of linguistic analysis and grammatical reasoning. We propose a pipeline for automatically generating step-by-step linguistic reasoning traces from Universal Dependencies treebanks, dictionaries, and grammar-rule banks. We evaluate these traces in three settings: in-context learning (ICL), supervised fine-tuning (SFT), and reinforcement fine-tuning (RFT), on Xibe and Chintang as test cases. Our results show that linguistic reasoning traces are most effective as inference-time guidance: in ICL, reliable sentence-specific traces substantially improve translation performance across most models, languages, and metrics. In contrast, using the linguistic reasoning traces as training data yields smaller and less consistent gains, as models learn the trace format but often generate erroneous content. These findings suggest that LLMs can leverage grammatical information for low-resource MT when given reliable linguistic analyses, while learning to generate such analyses remains a major bottleneck.