산업 제어를 위한 사전 학습된 대규모 언어 모델

초록

산업 제어 분야에서는 적은 샘플과 낮은 기술 부채로 고성능 제어기를 개발하는 것이 매력적입니다. 인터넷 규모의 코퍼스로 사전 학습을 통해 얻은 풍부한 사전 지식을 갖춘 파운데이션 모델은 적절한 프롬프트를 통해 우수한 제어기가 될 잠재력을 가지고 있습니다. 본 논문에서는 HVAC(난방, 환기, 공조) 건물 제어를 예시로, 최상위 파운데이션 모델 중 하나인 GPT-4의 제어 능력을 검토합니다. HVAC를 제어하기 위해, 각 단계마다 작업에 대한 간단한 설명, 선택된 몇 가지 데모, 그리고 현재 관측값을 포함한 텍스트를 GPT-4에 제공하고, GPT-4가 응답한 동작을 실행하는 방식으로 작업을 언어 게임으로 포장합니다. 우리는 다음과 같은 질문에 답하기 위해 일련의 실험을 수행합니다: 1) GPT-4가 HVAC를 얼마나 잘 제어할 수 있는가? 2) GPT-4가 다양한 HVAC 제어 시나리오에 얼마나 잘 일반화할 수 있는가? 3) 텍스트 컨텍스트의 다른 부분이 성능에 어떻게 영향을 미치는가? 전반적으로, GPT-4는 적은 샘플과 낮은 기술 부채로 강화 학습 방법과 비슷한 성능을 달성하며, 이는 파운데이션 모델을 산업 제어 작업에 직접 적용할 가능성을 시사합니다.

English

For industrial control, developing high-performance controllers with few samples and low technical debt is appealing. Foundation models, possessing rich prior knowledge obtained from pre-training with Internet-scale corpus, have the potential to be a good controller with proper prompts. In this paper, we take HVAC (Heating, Ventilation, and Air Conditioning) building control as an example to examine the ability of GPT-4 (one of the first-tier foundation models) as the controller. To control HVAC, we wrap the task as a language game by providing text including a short description for the task, several selected demonstrations, and the current observation to GPT-4 on each step and execute the actions responded by GPT-4. We conduct series of experiments to answer the following questions: 1)~How well can GPT-4 control HVAC? 2)~How well can GPT-4 generalize to different scenarios for HVAC control? 3) How different parts of the text context affect the performance? In general, we found GPT-4 achieves the performance comparable to RL methods with few samples and low technical debt, indicating the potential of directly applying foundation models to industrial control tasks.

산업 제어를 위한 사전 학습된 대규모 언어 모델

Pre-Trained Large Language Models for Industrial Control

초록

Support