FLM-101B: Un modelo de lenguaje grande abierto y cómo entrenarlo con un presupuesto de $100K

Resumen

Los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) han logrado un éxito notable en tareas de PLN y multimodales. A pesar de estos logros, su desarrollo enfrenta dos desafíos principales: (i) el alto costo computacional; y (ii) la dificultad para realizar evaluaciones justas y objetivas. Los LLMs son prohibitivamente costosos, lo que hace que solo unos pocos actores importantes puedan emprender su entrenamiento, limitando así tanto las oportunidades de investigación como de aplicación. Esto subraya la importancia de un entrenamiento de LLMs rentable. En este artículo, utilizamos una estrategia de crecimiento para reducir significativamente el costo de entrenamiento de LLMs. Demostramos que un LLM con 101B parámetros y 0.31TB de tokens puede ser entrenado con un presupuesto de 100K. También adoptamos un paradigma de evaluación sistemática para la evaluación del coeficiente intelectual (IQ) de los LLMs, complementando las evaluaciones existentes que se centran más en habilidades orientadas al conocimiento. Introducimos nuestro benchmark que incluye evaluaciones en aspectos importantes de la inteligencia, como mapeo simbólico, comprensión de reglas, minería de patrones y anti-interferencia. Dichas evaluaciones minimizan el impacto potencial de la memorización. Los resultados experimentales muestran que nuestro modelo FLM-101B, entrenado con un presupuesto de 100K, logra un rendimiento comparable a modelos potentes y conocidos, como GPT-3 y GLM-130B, especialmente en las evaluaciones de IQ con contextos no vistos en los datos de entrenamiento. El checkpoint de FLM-101B será de código abierto en https://huggingface.co/CofeAI/FLM-101B.

English

Large language models (LLMs) have achieved remarkable success in NLP and multimodal tasks. Despite these successes, their development faces two main challenges: (i) high computational cost; and (ii) difficulty in conducting fair and objective evaluations. LLMs are prohibitively expensive, making it feasible for only a few major players to undertake their training, thereby constraining both research and application opportunities. This underscores the importance of cost-effective LLM training. In this paper, we utilize a growth strategy to significantly reduce LLM training cost. We demonstrate that an LLM with 101B parameters and 0.31TB tokens can be trained on a 100K budget. We also adopt a systematic evaluation paradigm for the IQ evaluation of LLMs, in complement to existing evaluations that focus more on knowledge-oriented abilities. We introduce our benchmark including evaluations on important aspects of intelligence including symbolic mapping, itrule understanding, pattern mining, and anti-interference. Such evaluations minimize the potential impact of memorization. Experimental results show that our model FLM-101B, trained with a budget of 100K, achieves comparable performance to powerful and well-known models, eg GPT-3 and GLM-130B, especially in the IQ benchmark evaluations with contexts unseen in training data. The checkpoint of FLM-101B will be open-sourced at https://huggingface.co/CofeAI/FLM-101B.

FLM-101B: Un modelo de lenguaje grande abierto y cómo entrenarlo con un presupuesto de $100K

FLM-101B: An Open LLM and How to Train It with $100K Budget

Resumen

Support