Mini-GPTs : Modèles de langage de grande taille optimisés par élagage contextuel

Mini-GPTs: Efficient Large Language Models through Contextual Pruning

December 20, 2023

Auteurs: Tim Valicenti, Justice Vidal, Ritik Patnaik

cs.AI

Résumé

Dans la recherche en IA, l'optimisation des modèles de langage de grande taille (LLMs) reste un défi majeur, crucial pour faire progresser les applications pratiques et la durabilité du domaine. S'appuyant sur les travaux fondateurs du laboratoire du professeur Song Han au MIT, cet article présente une nouvelle approche pour développer des Mini-GPTs via l'élagage contextuel. Notre méthodologie élimine stratégiquement des parties de l'architecture computationnelle des LLMs traditionnels, comme Phi-1.5, en se concentrant sur la conservation des fonctionnalités essentielles tout en réduisant considérablement la taille des modèles. Nous appliquons cette technique à divers ensembles de données complexes, incluant le droit américain, des questions-réponses médicales, des dialogues de Skyrim, des traductions anglais-taïwanais et des articles d'économie. Les résultats mettent en évidence l'efficacité et l'efficience de l'élagage contextuel, non seulement en tant que concept théorique, mais aussi comme outil pratique pour développer des LLMs spécifiques à un domaine et économes en ressources. L'élagage contextuel est une méthode prometteuse pour construire des LLMs spécifiques à un domaine, et cette recherche constitue une pierre angulaire pour les développements futurs avec davantage de puissance de calcul matériel, un réglage fin plus précis et une quantification améliorée.

English

In AI research, the optimization of Large Language Models (LLMs) remains a significant challenge, crucial for advancing the field's practical applications and sustainability. Building upon the foundational work of Professor Song Han's lab at MIT, this paper introduces a novel approach in developing Mini-GPTs via contextual pruning. Our methodology strategically prunes the computational architecture of traditional LLMs, like Phi-1.5, focusing on retaining core functionalities while drastically reducing model sizes. We employ the technique across diverse and complex datasets, including US law, Medical Q&A, Skyrim dialogue, English-Taiwanese translation, and Economics articles. The results underscore the efficiency and effectiveness of contextual pruning, not merely as a theoretical concept but as a practical tool in developing domain-specific, resource-efficient LLMs. Contextual pruning is a promising method for building domain-specific LLMs, and this research is a building block towards future development with more hardware compute, refined fine-tuning, and quantization.