LLiMba: Sardo em uma única GPU -- Adaptando um modelo de linguagem de 3B a uma língua românica em extinção

Resumo

O sardo, uma língua românica com cerca de um milhão de falantes, tem presença mínima no PLN moderno. Serviços comerciais não o suportam, e os modelos de linguagem atuais não o produzem de forma confiável. Apresentamos LLiMba, um modelo de 3B parâmetros pronto para sardo, adaptado do Qwen2.5-3B-Instruct por meio de pré-treinamento contínuo (CPT) e ajuste fino supervisionado (SFT) em uma única GPU de consumo de 24 GB. O corpus contém 11,5 milhões de tokens de sardo abrangendo LSC, Logudorês e Campidanês, aumentado com 2,4 milhões de tokens de texto românico relacionado como replay contra o borrão de registro. Após o CPT, o modelo atinge uma perplexidade de 6,76 em sardo retido e supera a base em todas as seis direções do FLORES-200. Comparamos cinco configurações de SFT sob condições equivalentes: ajuste fino completo, LoRA r64, rsLoRA r128, rsLoRA r256 e DoRA r256. rsLoRA r256 vence em todas as direções para o sardo, alcançando 28,5 BLEU do inglês contra 17,3 após CPT e 21,0 com ajuste fino completo. A ablação de posto coloca r128 entre LoRA r64 e rsLoRA r256 em BLEU, mas revela modos de falha invisíveis à métrica, incluindo vazamento entre scripts que nenhuma outra variante produz. LoRA r64 retém menos conteúdo factual do SFT do que configurações de posto mais alto e produz fabricações mais confiantes, embora todos os métodos fabriquem em conteúdo ausente do treinamento. DoRA r256 produz a menor lacuna entre treinamento e avaliação, mas a pior precisão factual. Os achados indicam que a capacidade do adaptador importa mais do que a escolha entre variantes LoRA para adaptar uma base pré-treinada românica a um alvo românico de baixos recursos, que uma regularização mais forte não é uniformemente benéfica, e que as métricas de tradução ordenam suavemente configurações cujo comportamento qualitativo difere categoricamente. Comparações de perplexidade entre scripts devem levar em conta a tokenização com fallback de bytes, que reduz a métrica para scripts diferentes do latino.

English

Sardinian, a Romance language with roughly one million speakers, has minimal presence in modern NLP. Commercial services do not support it, and current language models do not produce it reliably. We present LLiMba, a 3B parameter Sardinian-ready model adapted from Qwen2.5-3B-Instruct through continued pretraining (CPT) and supervised fine-tuning (SFT) on a single 24 GB consumer GPU. The corpus contains 11.5 million tokens of Sardinian spanning LSC, Logudorese, and Campidanese, augmented with 2.4 million tokens of related Romance text as replay against register blurring. After CPT the model reaches a perplexity of 6.76 on held out Sardinian and outperforms the base across all six FLORES-200 directions. We compare five SFT configurations under matched conditions: full fine-tuning, LoRA r64, rsLoRA r128, rsLoRA r256, and DoRA r256. rsLoRA r256 wins on every direction into Sardinian, reaching 28.5 BLEU from English against 17.3 after CPT and 21.0 with full fine-tuning. The rank ablation places r128 between LoRA r64 and rsLoRA r256 on BLEU but reveals failure modes invisible to the metric, including leakage across scripts no other variant produces. LoRA r64 retains less factual content from SFT than configurations at higher rank and produces more confident fabrications, though all methods fabricate on content absent from training. DoRA r256 yields the smallest gap between training and evaluation but the worst factual accuracy. The findings indicate that adapter capacity matters more than the choice among LoRA variants for adapting a Romance pretrained base to a low resource Romance target, that stronger regularization is not uniformly beneficial, and that translation metrics smoothly order configurations whose qualitative behavior differs categorically. Perplexity comparisons across scripts must account for byte fallback tokenization, which deflates the metric for scripts other than Latin.