UnifiedCrawl: Common Crawl Agregado para Adaptação Acessível de LLMs em Idiomas de Baixos Recursos

UnifiedCrawl: Aggregated Common Crawl for Affordable Adaptation of LLMs on Low-Resource Languages

November 21, 2024

Autores: Bethel Melesse Tessema, Akhil Kedia, Tae-Sun Chung

cs.AI

Resumo

Modelos de linguagem de grande escala (LLMs) têm desempenho inferior em idiomas de baixo recurso devido à quantidade limitada de dados de treinamento. Apresentamos um método para coletar eficientemente dados de texto para idiomas de baixo recurso a partir de todo o corpus Common Crawl. Nossa abordagem, UnifiedCrawl, filtra e extrai o Common Crawl usando recursos computacionais mínimos, resultando em conjuntos de dados monolíngues muito maiores do que as fontes disponíveis anteriormente. Demonstramos que aproveitar esses dados para ajustar finamente os LLMs multilíngues por meio de métodos de adaptadores eficientes (QLoRA) melhora significativamente o desempenho no idioma de baixo recurso, ao mesmo tempo que minimiza o uso de VRAM. Nossos experimentos mostram grandes melhorias na perplexidade da modelagem de linguagem e um aumento nas pontuações de solicitação de poucas amostras. Nosso trabalho e código-fonte disponibilizado oferecem uma abordagem acessível para melhorar os LLMs para idiomas de baixo recurso usando hardware comum. Nosso código-fonte está disponível em https://github.com/bethelmelesse/unifiedcrawl.

English

Large language models (LLMs) under-perform on low-resource languages due to limited training data. We present a method to efficiently collect text data for low-resource languages from the entire Common Crawl corpus. Our approach, UnifiedCrawl, filters and extracts common crawl using minimal compute resources, yielding mono-lingual datasets much larger than previously available sources. We demonstrate that leveraging this data to fine-tuning multilingual LLMs via efficient adapter methods (QLoRA) significantly boosts performance on the low-resource language, while minimizing VRAM usage. Our experiments show large improvements in language modeling perplexity and an increase in few-shot prompting scores. Our work and released source code provide an affordable approach to improve LLMs for low-resource languages using consumer hardware. Our source code is available here at https://github.com/bethelmelesse/unifiedcrawl.