Tag-LLM: Die Umwidmung von allgemeinen LLMs für spezialisierte Domänen

Zusammenfassung

Große Sprachmodelle (LLMs) haben eine bemerkenswerte Fähigkeit bewiesen, natürliche Sprache zu verstehen und zu generieren. Ihre Fähigkeiten lassen jedoch in hochspezialisierten Domänen nach, die im Vortrainingskorpus unterrepräsentiert sind, wie beispielsweise in den physikalischen und biomedizinischen Wissenschaften. Diese Arbeit untersucht, wie allgemeine LLMs in effektive Problemlöser für spezialisierte Domänen umgewandelt werden können. Wir stellen ein neuartiges, modellunabhängiges Framework vor, das das Lernen von benutzerdefinierten Eingabe-Tags ermöglicht, die als kontinuierliche Vektoren parametrisiert und an die Einbettungsschicht des LLM angehängt werden, um das LLM zu konditionieren. Wir entwerfen zwei Arten von Eingabe-Tags: Domänen-Tags werden verwendet, um spezialisierte Darstellungen (z.B. chemische Formeln) abzugrenzen und domänenrelevante Kontexte bereitzustellen; Funktions-Tags werden verwendet, um spezifische Funktionen (z.B. die Vorhersage von Moleküleigenschaften) darzustellen und Anweisungen zur Problemlösung zu komprimieren. Wir entwickeln ein dreistufiges Protokoll, um diese Tags mithilfe von Hilfsdaten und Domänenwissen zu lernen. Durch die explizite Entkopplung von Aufgabenbereichen und Aufgabenfunktionen ermöglicht unsere Methode eine Null-Shot-Generalisierung auf ungesehene Probleme durch diverse Kombinationen der Eingabe-Tags. Sie steigert auch die Leistung des LLM in verschiedenen spezialisierten Domänen, wie der Vorhersage von Protein- oder chemischen Eigenschaften und der Modellierung von Wirkstoff-Ziel-Interaktionen, und übertrifft dabei auf diese Aufgaben zugeschnittene Expertenmodelle.

English

Large Language Models (LLMs) have demonstrated remarkable proficiency in understanding and generating natural language. However, their capabilities wane in highly specialized domains underrepresented in the pretraining corpus, such as physical and biomedical sciences. This work explores how to repurpose general LLMs into effective task solvers for specialized domains. We introduce a novel, model-agnostic framework for learning custom input tags, which are parameterized as continuous vectors appended to the LLM's embedding layer, to condition the LLM. We design two types of input tags: domain tags are used to delimit specialized representations (e.g., chemical formulas) and provide domain-relevant context; function tags are used to represent specific functions (e.g., predicting molecular properties) and compress function-solving instructions. We develop a three-stage protocol to learn these tags using auxiliary data and domain knowledge. By explicitly disentangling task domains from task functions, our method enables zero-shot generalization to unseen problems through diverse combinations of the input tags. It also boosts LLM's performance in various specialized domains, such as predicting protein or chemical properties and modeling drug-target interactions, outperforming expert models tailored to these tasks.

Tag-LLM: Die Umwidmung von allgemeinen LLMs für spezialisierte Domänen

Tag-LLM: Repurposing General-Purpose LLMs for Specialized Domains

Zusammenfassung

Support