Redeneren over grammatica: Kunnen synthetische taalkundige redeneersporen machinevertaling met weinig bronnen verbeteren?

Samenvatting

Grote taalmodellen (LLM's) bieden een veelbelovende benadering voor machinevertaling (MV) voor talen met extreem weinig bronmateriaal, door taalkundige bronnen te integreren via in-context leren. LLM's hebben echter vaak moeite om grammaticale informatie effectief toe te passen tijdens het vertalen. Geïnspireerd door recente vooruitgang in keten-van-gedachten redeneren, onderzoeken we of MV voor talen met weinig bronmateriaal kan profiteren van gestructureerde tussenstappen van taalkundige analyse en grammaticale redenering. We stellen een pijplijn voor voor het automatisch genereren van stapsgewijze taalkundige redeneersporen op basis van Universal Dependencies treebanks, woordenboeken en grammaticaregelbanken. We evalueren deze sporen in drie settings: in-context leren (ICL), gesuperviseerde fine-tuning (SFT) en versterkingsleren fine-tuning (RFT), met Xibe en Chintang als testgevallen. Onze resultaten tonen aan dat taalkundige redeneersporen het meest effectief zijn als begeleiding tijdens de inferentie: bij ICL verbeteren betrouwbare, zinspecifieke sporen de vertaalprestaties aanzienlijk voor de meeste modellen, talen en metrieken. Daarentegen levert het gebruik van de taalkundige redeneersporen als trainingsdata kleinere en minder consistente winsten op, omdat modellen het spoorformaat leren maar vaak foutieve inhoud genereren. Deze bevindingen suggereren dat LLM's grammaticale informatie kunnen benutten voor MV van talen met weinig bronmateriaal wanneer betrouwbare taalkundige analyses worden gegeven, terwijl het leren genereren van dergelijke analyses een belangrijke bottleneck blijft.

English

Large language models (LLMs) offer a promising approach to machine translation (MT) for extremely low-resource languages by incorporating linguistic resources through in-context learning. However, LLMs often struggle to apply grammatical information effectively during translation. Inspired by recent progress in chain-of-thought reasoning, we investigate whether low-resource MT can benefit from structured intermediate steps of linguistic analysis and grammatical reasoning. We propose a pipeline for automatically generating step-by-step linguistic reasoning traces from Universal Dependencies treebanks, dictionaries, and grammar-rule banks. We evaluate these traces in three settings: in-context learning (ICL), supervised fine-tuning (SFT), and reinforcement fine-tuning (RFT), on Xibe and Chintang as test cases. Our results show that linguistic reasoning traces are most effective as inference-time guidance: in ICL, reliable sentence-specific traces substantially improve translation performance across most models, languages, and metrics. In contrast, using the linguistic reasoning traces as training data yields smaller and less consistent gains, as models learn the trace format but often generate erroneous content. These findings suggest that LLMs can leverage grammatical information for low-resource MT when given reliable linguistic analyses, while learning to generate such analyses remains a major bottleneck.