Tag-LLM: Adaptando LLMs de Propósito Geral para Domínios Especializados

Resumo

Modelos de Linguagem de Grande Escala (LLMs) demonstraram proficiência notável na compreensão e geração de linguagem natural. No entanto, suas capacidades diminuem em domínios altamente especializados sub-representados no corpus de pré-treinamento, como as ciências físicas e biomédicas. Este trabalho explora como adaptar LLMs gerais para se tornarem solucionadores eficazes de tarefas em domínios especializados. Introduzimos uma estrutura inovadora e independente de modelo para aprender tags de entrada personalizadas, que são parametrizadas como vetores contínuos anexados à camada de embedding do LLM, para condicionar o modelo. Projetamos dois tipos de tags de entrada: tags de domínio são usadas para delimitar representações especializadas (por exemplo, fórmulas químicas) e fornecer contexto relevante ao domínio; tags de função são usadas para representar funções específicas (por exemplo, prever propriedades moleculares) e comprimir instruções para a resolução de funções. Desenvolvemos um protocolo de três etapas para aprender essas tags utilizando dados auxiliares e conhecimento do domínio. Ao desacoplar explicitamente os domínios das tarefas das funções das tarefas, nosso método permite a generalização zero-shot para problemas não vistos por meio de combinações diversas das tags de entrada. Ele também melhora o desempenho do LLM em vários domínios especializados, como a previsão de propriedades de proteínas ou químicas e a modelagem de interações fármaco-alvo, superando modelos especializados projetados para essas tarefas.

English

Large Language Models (LLMs) have demonstrated remarkable proficiency in understanding and generating natural language. However, their capabilities wane in highly specialized domains underrepresented in the pretraining corpus, such as physical and biomedical sciences. This work explores how to repurpose general LLMs into effective task solvers for specialized domains. We introduce a novel, model-agnostic framework for learning custom input tags, which are parameterized as continuous vectors appended to the LLM's embedding layer, to condition the LLM. We design two types of input tags: domain tags are used to delimit specialized representations (e.g., chemical formulas) and provide domain-relevant context; function tags are used to represent specific functions (e.g., predicting molecular properties) and compress function-solving instructions. We develop a three-stage protocol to learn these tags using auxiliary data and domain knowledge. By explicitly disentangling task domains from task functions, our method enables zero-shot generalization to unseen problems through diverse combinations of the input tags. It also boosts LLM's performance in various specialized domains, such as predicting protein or chemical properties and modeling drug-target interactions, outperforming expert models tailored to these tasks.

Tag-LLM: Adaptando LLMs de Propósito Geral para Domínios Especializados

Tag-LLM: Repurposing General-Purpose LLMs for Specialized Domains

Resumo

Support