LLäMmlein: Modelos de Linguagem Compactos e Competitivos Apenas em Alemão Criados do Zero

LLäMmlein: Compact and Competitive German-Only Language Models from Scratch

November 17, 2024

Autores: Jan Pfister, Julia Wunderle, Andreas Hotho

cs.AI

Resumo

Criamos dois modelos de decodificador exclusivamente em alemão, LL\"aMmlein 120M e 1B, de forma transparente a partir do zero e os publicamos, juntamente com os dados de treinamento, para a comunidade de pesquisa em PNL em alemão usar. O treinamento do modelo envolveu várias etapas-chave, incluindo extensa pré-processamento de dados, a criação de um tokenizador personalizado em alemão, o próprio treinamento, bem como a avaliação dos modelos finais em vários benchmarks. Ao longo do processo de treinamento, vários pontos de verificação foram salvos e analisados usando o benchmark SuperGLEBer para monitorar a dinâmica de aprendizado dos modelos. Em comparação com os modelos de última geração no benchmark SuperGLEBer, ambos os modelos LL\"aMmlein tiveram um desempenho competitivo, consistentemente igualando ou superando modelos com tamanhos de parâmetros semelhantes. Os resultados mostram que a qualidade dos modelos aumenta com o tamanho conforme esperado, mas melhorias de desempenho em algumas tarefas atingiram um platô cedo, oferecendo insights valiosos sobre alocação de recursos para o desenvolvimento futuro de modelos.

English

We create two German-only decoder models, LL\"aMmlein 120M and 1B, transparently from scratch and publish them, along with the training data, for the German NLP research community to use. The model training involved several key steps, including extensive data preprocessing, the creation of a custom German tokenizer, the training itself, as well as the evaluation of the final models on various benchmarks. Throughout the training process, multiple checkpoints were saved and analyzed using the SuperGLEBer benchmark to monitor the models' learning dynamics. Compared to state-of-the-art models on the SuperGLEBer benchmark, both LL\"aMmlein models performed competitively, consistently matching or surpassing models with similar parameter sizes. The results show that the models' quality scales with size as expected, but performance improvements on some tasks plateaued early, offering valuable insights into resource allocation for future model development.