Tag-LLM: Riadattamento di LLM generici per domini specializzati

Abstract

I Large Language Model (LLM) hanno dimostrato una notevole capacità nel comprendere e generare linguaggio naturale. Tuttavia, le loro prestazioni diminuiscono in domini altamente specializzati sottorappresentati nel corpus di pre-addestramento, come le scienze fisiche e biomediche. Questo lavoro esplora come riadattare LLM generici per risolvere efficacemente compiti in domini specializzati. Introduciamo un nuovo framework, indipendente dal modello, per apprendere tag di input personalizzati, parametrizzati come vettori continui aggiunti allo strato di embedding del LLM, per condizionare il modello. Progettiamo due tipi di tag di input: i tag di dominio vengono utilizzati per delimitare rappresentazioni specializzate (ad esempio, formule chimiche) e fornire contesto rilevante per il dominio; i tag di funzione vengono utilizzati per rappresentare funzioni specifiche (ad esempio, prevedere proprietà molecolari) e comprimere le istruzioni per la risoluzione delle funzioni. Sviluppiamo un protocollo in tre fasi per apprendere questi tag utilizzando dati ausiliari e conoscenze di dominio. Disaccoppiando esplicitamente i domini dei compiti dalle funzioni dei compiti, il nostro metodo consente una generalizzazione zero-shot a problemi non visti attraverso combinazioni diverse dei tag di input. Inoltre, migliora le prestazioni del LLM in vari domini specializzati, come la previsione di proprietà proteiche o chimiche e la modellazione delle interazioni farmaco-bersaglio, superando modelli esperti progettati per questi compiti.

English

Large Language Models (LLMs) have demonstrated remarkable proficiency in understanding and generating natural language. However, their capabilities wane in highly specialized domains underrepresented in the pretraining corpus, such as physical and biomedical sciences. This work explores how to repurpose general LLMs into effective task solvers for specialized domains. We introduce a novel, model-agnostic framework for learning custom input tags, which are parameterized as continuous vectors appended to the LLM's embedding layer, to condition the LLM. We design two types of input tags: domain tags are used to delimit specialized representations (e.g., chemical formulas) and provide domain-relevant context; function tags are used to represent specific functions (e.g., predicting molecular properties) and compress function-solving instructions. We develop a three-stage protocol to learn these tags using auxiliary data and domain knowledge. By explicitly disentangling task domains from task functions, our method enables zero-shot generalization to unseen problems through diverse combinations of the input tags. It also boosts LLM's performance in various specialized domains, such as predicting protein or chemical properties and modeling drug-target interactions, outperforming expert models tailored to these tasks.

Tag-LLM: Riadattamento di LLM generici per domini specializzati

Tag-LLM: Repurposing General-Purpose LLMs for Specialized Domains

Abstract

Support