Crosslinguaal redeneren door schaling tijdens testtijd

Samenvatting

De redeneervaardigheden van grote taalmodelen worden voornamelijk bestudeerd voor het Engels, zelfs wanneer vooraf getrainde modellen meertalig zijn. In dit werk onderzoeken we in hoeverre Engelse redeneerfinetuning met lange ketens van gedachten (CoTs) kan generaliseren over verschillende talen. Ten eerste ontdekken we dat het opschalen van de rekenkracht voor inferentie bij Engels-gecentreerde redeneertaalmodellen (RLMs) de meertalige wiskundige redeneervaardigheden verbetert voor veel talen, inclusief talen met weinig bronnen, tot op een niveau waarop ze modellen overtreffen die twee keer zo groot zijn. Ten tweede laten we zien dat, hoewel de CoTs van Engels-gecentreerde RLMs van nature voornamelijk in het Engels zijn, ze consistent een citaat-en-denken patroon volgen om te redeneren over geciteerde niet-Engelse invoer. Ten derde ontdekken we een effectieve strategie om de taal van lange CoT-redeneringen te beheersen, en we observeren dat modellen beter en efficiënter redeneren in talen met veel bronnen. Tot slot observeren we een slechte generalisatie van redeneren buiten het domein, met name van STEM naar culturele commonsense kennis, zelfs voor het Engels. Over het geheel genomen demonstreren we de potenties, bestuderen we de mechanismen en schetsen we de beperkingen van crosslinguale generalisatie van Engelse redeneertesttijd-schaling. We concluderen dat beoefenaars Engels-gecentreerde RLMs moeten laten redeneren in talen met veel bronnen, terwijl verder werk nodig is om het redeneren in talen met weinig bronnen en buiten-domeincontexten te verbeteren.

English

Reasoning capabilities of large language models are primarily studied for English, even when pretrained models are multilingual. In this work, we investigate to what extent English reasoning finetuning with long chain-of-thoughts (CoTs) can generalize across languages. First, we find that scaling up inference compute for English-centric reasoning language models (RLMs) improves multilingual mathematical reasoning across many languages including low-resource languages, to an extent where they outperform models twice their size. Second, we reveal that while English-centric RLM's CoTs are naturally predominantly English, they consistently follow a quote-and-think pattern to reason about quoted non-English inputs. Third, we discover an effective strategy to control the language of long CoT reasoning, and we observe that models reason better and more efficiently in high-resource languages. Finally, we observe poor out-of-domain reasoning generalization, in particular from STEM to cultural commonsense knowledge, even for English. Overall, we demonstrate the potentials, study the mechanisms and outline the limitations of crosslingual generalization of English reasoning test-time scaling. We conclude that practitioners should let English-centric RLMs reason in high-resource languages, while further work is needed to improve reasoning in low-resource languages and out-of-domain contexts.

Crosslinguaal redeneren door schaling tijdens testtijd

Crosslingual Reasoning through Test-Time Scaling

Samenvatting

Support