Рассуждения о грамматике: могут ли синтезированные следы лингвистических рассуждений улучшить низкоресурсный машинный перевод?

Аннотация

Большие языковые модели (LLM) предлагают многообещающий подход к машинному переводу (МП) для языков с крайне ограниченными ресурсами, включая лингвистические ресурсы посредством контекстного обучения. Однако LLM часто испытывают трудности с эффективным применением грамматической информации при переводе. Вдохновленные недавними успехами в области рассуждений по цепочке мыслей, мы исследуем, может ли машинный перевод с ограниченными ресурсами выиграть от структурированных промежуточных этапов лингвистического анализа и грамматических рассуждений. Мы предлагаем конвейер для автоматической генерации пошаговых цепочек лингвистических рассуждений на основе древовидных банков данных Universal Dependencies, словарей и банков грамматических правил. Мы оцениваем эти цепочки в трех условиях: контекстное обучение (ICL), контролируемая точная настройка (SFT) и точная настройка с подкреплением (RFT), на примере языков сибо и чинтанг в качестве тестовых случаев. Наши результаты показывают, что цепочки лингвистических рассуждений наиболее эффективны в качестве руководства во время вывода: при контекстном обучении надежные цепочки для конкретных предложений значительно улучшают качество перевода для большинства моделей, языков и метрик. Напротив, использование цепочек лингвистических рассуждений в качестве обучающих данных дает меньшие и менее стабильные улучшения, поскольку модели усваивают формат цепочек, но часто генерируют ошибочное содержание. Эти результаты свидетельствуют о том, что LLM могут использовать грамматическую информацию для машинного перевода с ограниченными ресурсами при наличии надежных лингвистических анализов, в то время как обучение генерации таких анализов остается серьезным узким местом.

English

Large language models (LLMs) offer a promising approach to machine translation (MT) for extremely low-resource languages by incorporating linguistic resources through in-context learning. However, LLMs often struggle to apply grammatical information effectively during translation. Inspired by recent progress in chain-of-thought reasoning, we investigate whether low-resource MT can benefit from structured intermediate steps of linguistic analysis and grammatical reasoning. We propose a pipeline for automatically generating step-by-step linguistic reasoning traces from Universal Dependencies treebanks, dictionaries, and grammar-rule banks. We evaluate these traces in three settings: in-context learning (ICL), supervised fine-tuning (SFT), and reinforcement fine-tuning (RFT), on Xibe and Chintang as test cases. Our results show that linguistic reasoning traces are most effective as inference-time guidance: in ICL, reliable sentence-specific traces substantially improve translation performance across most models, languages, and metrics. In contrast, using the linguistic reasoning traces as training data yields smaller and less consistent gains, as models learn the trace format but often generate erroneous content. These findings suggest that LLMs can leverage grammatical information for low-resource MT when given reliable linguistic analyses, while learning to generate such analyses remains a major bottleneck.