Modelos de Linguagem Pré-treinados de Grande Escala para Controle Industrial

Pre-Trained Large Language Models for Industrial Control

August 6, 2023

Autores: Lei Song, Chuheng Zhang, Li Zhao, Jiang Bian

cs.AI

Resumo

Para controle industrial, desenvolver controladores de alto desempenho com poucas amostras e baixa dívida técnica é altamente desejável. Modelos de base, que possuem conhecimento prévio rico obtido por meio de pré-treinamento com corpus em escala da internet, têm o potencial de se tornarem bons controladores quando devidamente instruídos. Neste artigo, utilizamos o controle de HVAC (Aquecimento, Ventilação e Ar Condicionado) em edifícios como exemplo para examinar a capacidade do GPT-4 (um dos principais modelos de base) como controlador. Para controlar o HVAC, encapsulamos a tarefa como um jogo de linguagem, fornecendo ao GPT-4, em cada etapa, um texto que inclui uma breve descrição da tarefa, várias demonstrações selecionadas e a observação atual, e executamos as ações respondidas pelo GPT-4. Realizamos uma série de experimentos para responder às seguintes perguntas: 1) Quão bem o GPT-4 pode controlar o HVAC? 2) Quão bem o GPT-4 pode generalizar para diferentes cenários de controle de HVAC? 3) Como diferentes partes do contexto textual afetam o desempenho? Em geral, descobrimos que o GPT-4 alcança um desempenho comparável aos métodos de RL (Aprendizado por Reforço) com poucas amostras e baixa dívida técnica, indicando o potencial de aplicar diretamente modelos de base a tarefas de controle industrial.

English

For industrial control, developing high-performance controllers with few samples and low technical debt is appealing. Foundation models, possessing rich prior knowledge obtained from pre-training with Internet-scale corpus, have the potential to be a good controller with proper prompts. In this paper, we take HVAC (Heating, Ventilation, and Air Conditioning) building control as an example to examine the ability of GPT-4 (one of the first-tier foundation models) as the controller. To control HVAC, we wrap the task as a language game by providing text including a short description for the task, several selected demonstrations, and the current observation to GPT-4 on each step and execute the actions responded by GPT-4. We conduct series of experiments to answer the following questions: 1)~How well can GPT-4 control HVAC? 2)~How well can GPT-4 generalize to different scenarios for HVAC control? 3) How different parts of the text context affect the performance? In general, we found GPT-4 achieves the performance comparable to RL methods with few samples and low technical debt, indicating the potential of directly applying foundation models to industrial control tasks.