Tag-LLM: 범용 LLM을 특수 분야에 재활용하기

초록

대형 언어 모델(LLMs)은 자연어 이해 및 생성에서 뛰어난 능력을 보여주고 있다. 그러나 물리학 및 생물의학과 같이 사전 학습 코퍼스에서 충분히 다루어지지 않은 고도로 전문화된 분야에서는 그 성능이 저하된다. 본 연구는 일반적인 LLMs를 전문화된 분야의 효과적인 과제 해결자로 재활용하는 방법을 탐구한다. 우리는 LLM의 임베딩 층에 추가되는 연속 벡터로 매개변수화된 사용자 정의 입력 태그를 학습하기 위한 새로운 모델-불가지론적 프레임워크를 소개한다. 이 프레임워크는 LLM을 조건화하는 데 사용된다. 우리는 두 가지 유형의 입력 태그를 설계한다: 도메인 태그는 전문화된 표현(예: 화학식)을 구분하고 도메인 관련 컨텍스트를 제공하는 데 사용되며, 기능 태그는 특정 기능(예: 분자 특성 예측)을 나타내고 기능 해결 지침을 압축하는 데 사용된다. 우리는 보조 데이터와 도메인 지식을 사용하여 이러한 태그를 학습하기 위한 세 단계 프로토콜을 개발한다. 과제 도메인과 과제 기능을 명시적으로 분리함으로써, 우리의 방법은 입력 태그의 다양한 조합을 통해 보이지 않는 문제에 대한 제로샷 일반화를 가능하게 한다. 또한 이 방법은 단백질 또는 화학적 특성 예측 및 약물-표적 상호작용 모델링과 같은 다양한 전문화된 분야에서 LLM의 성능을 향상시키며, 이러한 과제에 맞춤화된 전문 모델을 능가한다.

English

Large Language Models (LLMs) have demonstrated remarkable proficiency in understanding and generating natural language. However, their capabilities wane in highly specialized domains underrepresented in the pretraining corpus, such as physical and biomedical sciences. This work explores how to repurpose general LLMs into effective task solvers for specialized domains. We introduce a novel, model-agnostic framework for learning custom input tags, which are parameterized as continuous vectors appended to the LLM's embedding layer, to condition the LLM. We design two types of input tags: domain tags are used to delimit specialized representations (e.g., chemical formulas) and provide domain-relevant context; function tags are used to represent specific functions (e.g., predicting molecular properties) and compress function-solving instructions. We develop a three-stage protocol to learn these tags using auxiliary data and domain knowledge. By explicitly disentangling task domains from task functions, our method enables zero-shot generalization to unseen problems through diverse combinations of the input tags. It also boosts LLM's performance in various specialized domains, such as predicting protein or chemical properties and modeling drug-target interactions, outperforming expert models tailored to these tasks.

Tag-LLM: 범용 LLM을 특수 분야에 재활용하기

Tag-LLM: Repurposing General-Purpose LLMs for Specialized Domains

초록

Support