Raisonnement sur la grammaire : les traces de raisonnement linguistique synthétique peuvent-elles améliorer la traduction automatique à faibles ressources ?

Résumé

Les grands modèles de langage (LLMs) offrent une approche prometteuse pour la traduction automatique (TA) de langues extrêmement peu dotées, en intégrant des ressources linguistiques via l'apprentissage contextuel. Cependant, les LLMs peinent souvent à appliquer efficacement les informations grammaticales lors de la traduction. Inspirés par les récents progrès du raisonnement en chaîne de pensée (chain-of-thought), nous étudions si la TA pour langues peu dotées peut tirer parti d'étapes intermédiaires structurées d'analyse linguistique et de raisonnement grammatical. Nous proposons un pipeline pour générer automatiquement des traces de raisonnement linguistique étape par étape à partir de banques d'arbres de dépendances universelles (Universal Dependencies treebanks), de dictionnaires et de banques de règles grammaticales. Nous évaluons ces traces dans trois contextes : l'apprentissage contextuel (ICL), l'ajustement supervisé (SFT) et l'ajustement par renforcement (RFT), en prenant le xibe et le chintang comme cas de test. Nos résultats montrent que les traces de raisonnement linguistique sont plus efficaces comme guidage au moment de l'inférence : en ICL, des traces fiables spécifiques aux phrases améliorent considérablement les performances de traduction pour la plupart des modèles, langues et métriques. En revanche, l'utilisation de ces traces comme données d'entraînement produit des gains plus faibles et moins cohérents, car les modèles apprennent le format des traces mais génèrent souvent un contenu erroné. Ces résultats suggèrent que les LLMs peuvent exploiter les informations grammaticales pour la TA de langues peu dotées lorsqu'ils disposent d'analyses linguistiques fiables, tandis que l'apprentissage de la génération de telles analyses reste un goulot d'étranglement majeur.

English

Large language models (LLMs) offer a promising approach to machine translation (MT) for extremely low-resource languages by incorporating linguistic resources through in-context learning. However, LLMs often struggle to apply grammatical information effectively during translation. Inspired by recent progress in chain-of-thought reasoning, we investigate whether low-resource MT can benefit from structured intermediate steps of linguistic analysis and grammatical reasoning. We propose a pipeline for automatically generating step-by-step linguistic reasoning traces from Universal Dependencies treebanks, dictionaries, and grammar-rule banks. We evaluate these traces in three settings: in-context learning (ICL), supervised fine-tuning (SFT), and reinforcement fine-tuning (RFT), on Xibe and Chintang as test cases. Our results show that linguistic reasoning traces are most effective as inference-time guidance: in ICL, reliable sentence-specific traces substantially improve translation performance across most models, languages, and metrics. In contrast, using the linguistic reasoning traces as training data yields smaller and less consistent gains, as models learn the trace format but often generate erroneous content. These findings suggest that LLMs can leverage grammatical information for low-resource MT when given reliable linguistic analyses, while learning to generate such analyses remains a major bottleneck.