Mini-GPTs: Modelos de Linguagem de Grande Escala Eficientes por meio de Poda Contextual
Mini-GPTs: Efficient Large Language Models through Contextual Pruning
December 20, 2023
Autores: Tim Valicenti, Justice Vidal, Ritik Patnaik
cs.AI
Resumo
Na pesquisa em IA, a otimização de Modelos de Linguagem de Grande Escala (LLMs, na sigla em inglês) continua sendo um desafio significativo, crucial para avançar as aplicações práticas e a sustentabilidade do campo. Baseando-se no trabalho fundamental do laboratório do Professor Song Han no MIT, este artigo introduz uma nova abordagem no desenvolvimento de Mini-GPTs por meio de poda contextual. Nossa metodologia poda estrategicamente a arquitetura computacional de LLMs tradicionais, como o Phi-1.5, com foco em reter funcionalidades essenciais enquanto reduz drasticamente o tamanho dos modelos. Empregamos a técnica em diversos conjuntos de dados complexos, incluindo leis dos EUA, perguntas e respostas médicas, diálogos de Skyrim, tradução inglês-taiwanês e artigos de economia. Os resultados destacam a eficiência e a eficácia da poda contextual, não apenas como um conceito teórico, mas como uma ferramenta prática no desenvolvimento de LLMs específicos para domínios e eficientes em recursos. A poda contextual é um método promissor para a construção de LLMs específicos para domínios, e esta pesquisa é um bloco fundamental para o desenvolvimento futuro com maior capacidade de hardware, ajuste fino refinado e quantização.
English
In AI research, the optimization of Large Language Models (LLMs) remains a
significant challenge, crucial for advancing the field's practical applications
and sustainability. Building upon the foundational work of Professor Song Han's
lab at MIT, this paper introduces a novel approach in developing Mini-GPTs via
contextual pruning. Our methodology strategically prunes the computational
architecture of traditional LLMs, like Phi-1.5, focusing on retaining core
functionalities while drastically reducing model sizes. We employ the technique
across diverse and complex datasets, including US law, Medical Q&A, Skyrim
dialogue, English-Taiwanese translation, and Economics articles. The results
underscore the efficiency and effectiveness of contextual pruning, not merely
as a theoretical concept but as a practical tool in developing domain-specific,
resource-efficient LLMs. Contextual pruning is a promising method for building
domain-specific LLMs, and this research is a building block towards future
development with more hardware compute, refined fine-tuning, and quantization.