Modèles de langage pré-entraînés à grande échelle pour le contrôle industriel

Pre-Trained Large Language Models for Industrial Control

August 6, 2023

papers.authors: Lei Song, Chuheng Zhang, Li Zhao, Jiang Bian

cs.AI

papers.abstract

Pour le contrôle industriel, le développement de contrôleurs performants avec peu d'échantillons et une faible dette technique est très attractif. Les modèles de fondation, qui possèdent une riche connaissance préalable acquise lors d'un pré-entraînement sur un corpus à l'échelle d'Internet, ont le potentiel de devenir de bons contrôleurs avec des prompts appropriés. Dans cet article, nous prenons le contrôle des bâtiments HVAC (Chauffage, Ventilation et Climatisation) comme exemple pour examiner les capacités de GPT-4 (l'un des modèles de fondation de premier plan) en tant que contrôleur. Pour contrôler le système HVAC, nous formulons la tâche sous forme de jeu linguistique en fournissant à GPT-4, à chaque étape, un texte comprenant une brève description de la tâche, plusieurs démonstrations sélectionnées et l'observation actuelle, puis nous exécutons les actions renvoyées par GPT-4. Nous menons une série d'expériences pour répondre aux questions suivantes : 1) Dans quelle mesure GPT-4 peut-il contrôler efficacement le système HVAC ? 2) Dans quelle mesure GPT-4 peut-il généraliser à différents scénarios de contrôle HVAC ? 3) Comment les différentes parties du contexte textuel influencent-elles les performances ? Globalement, nous constatons que GPT-4 atteint des performances comparables aux méthodes d'apprentissage par renforcement avec peu d'échantillons et une faible dette technique, ce qui indique le potentiel d'application directe des modèles de fondation aux tâches de contrôle industriel.

English

For industrial control, developing high-performance controllers with few samples and low technical debt is appealing. Foundation models, possessing rich prior knowledge obtained from pre-training with Internet-scale corpus, have the potential to be a good controller with proper prompts. In this paper, we take HVAC (Heating, Ventilation, and Air Conditioning) building control as an example to examine the ability of GPT-4 (one of the first-tier foundation models) as the controller. To control HVAC, we wrap the task as a language game by providing text including a short description for the task, several selected demonstrations, and the current observation to GPT-4 on each step and execute the actions responded by GPT-4. We conduct series of experiments to answer the following questions: 1)~How well can GPT-4 control HVAC? 2)~How well can GPT-4 generalize to different scenarios for HVAC control? 3) How different parts of the text context affect the performance? In general, we found GPT-4 achieves the performance comparable to RL methods with few samples and low technical debt, indicating the potential of directly applying foundation models to industrial control tasks.