Modelos de Lenguaje Preentrenados a Gran Escala para Control Industrial

Pre-Trained Large Language Models for Industrial Control

August 6, 2023

Autores: Lei Song, Chuheng Zhang, Li Zhao, Jiang Bian

cs.AI

Resumen

Para el control industrial, desarrollar controladores de alto rendimiento con pocas muestras y baja deuda técnica es muy atractivo. Los modelos fundacionales, que poseen un conocimiento previo rico obtenido del preentrenamiento con corpus a escala de Internet, tienen el potencial de ser buenos controladores con las indicaciones adecuadas. En este artículo, tomamos el control de edificios HVAC (Calefacción, Ventilación y Aire Acondicionado) como ejemplo para examinar la capacidad de GPT-4 (uno de los modelos fundacionales de primer nivel) como controlador. Para controlar HVAC, enmarcamos la tarea como un juego de lenguaje proporcionando texto que incluye una breve descripción de la tarea, varias demostraciones seleccionadas y la observación actual a GPT-4 en cada paso, y ejecutamos las acciones respondidas por GPT-4. Realizamos una serie de experimentos para responder las siguientes preguntas: 1) ¿Qué tan bien puede GPT-4 controlar HVAC? 2) ¿Qué tan bien puede GPT-4 generalizar a diferentes escenarios para el control de HVAC? 3) ¿Cómo afectan las diferentes partes del contexto textual al rendimiento? En general, encontramos que GPT-4 alcanza un rendimiento comparable a los métodos de aprendizaje por refuerzo (RL) con pocas muestras y baja deuda técnica, lo que indica el potencial de aplicar directamente modelos fundacionales a tareas de control industrial.

English

For industrial control, developing high-performance controllers with few samples and low technical debt is appealing. Foundation models, possessing rich prior knowledge obtained from pre-training with Internet-scale corpus, have the potential to be a good controller with proper prompts. In this paper, we take HVAC (Heating, Ventilation, and Air Conditioning) building control as an example to examine the ability of GPT-4 (one of the first-tier foundation models) as the controller. To control HVAC, we wrap the task as a language game by providing text including a short description for the task, several selected demonstrations, and the current observation to GPT-4 on each step and execute the actions responded by GPT-4. We conduct series of experiments to answer the following questions: 1)~How well can GPT-4 control HVAC? 2)~How well can GPT-4 generalize to different scenarios for HVAC control? 3) How different parts of the text context affect the performance? In general, we found GPT-4 achieves the performance comparable to RL methods with few samples and low technical debt, indicating the potential of directly applying foundation models to industrial control tasks.