LML : Apprentissage de modèle de langue sur un ensemble de données pour une prédiction augmentée par les données

LML: Language Model Learning a Dataset for Data-Augmented Prediction

September 27, 2024

Auteurs: Praneeth Vadlapati

cs.AI

Résumé

Cet article présente une nouvelle approche pour l'utilisation de grands modèles de langage (GML) dans des tâches de classification, généralement traitées à l'aide de modèles d'apprentissage automatique (ML). Contrairement aux modèles ML qui dépendent fortement du nettoyage des données et de l'ingénierie des caractéristiques, cette méthode simplifie le processus en utilisant des GML. Cet article propose un nouveau concept appelé "Apprentissage de Modèle de Langage (AML)" alimenté par une nouvelle méthode appelée "Prédiction Augmentée de Données (PAD)". La classification est effectuée par des GML en utilisant une méthode similaire à celle des humains explorant et comprenant manuellement les données et décidant des classifications en utilisant les données comme référence. Les données d'entraînement sont résumées et évaluées pour déterminer les caractéristiques qui conduisent le plus à la classification de chaque libellé. Dans le processus de PAD, le système utilise le résumé des données pour créer automatiquement une requête, qui est utilisée pour récupérer les lignes pertinentes de l'ensemble de données. Une classification est générée par le GML en utilisant le résumé des données et les lignes pertinentes, garantissant une précision satisfaisante même avec des données complexes. L'utilisation du résumé des données et de données similaires dans PAD assure une prise de décision contextuelle. La méthode proposée utilise les termes "Agir comme un Modèle d'Apprentissage Automatique Explicable" dans le prompt pour améliorer l'interprétabilité des prédictions en permettant aux utilisateurs de revoir la logique derrière chaque prédiction. Dans certains cas de test, le système a obtenu une précision supérieure à 90 %, prouvant l'efficacité du système et son potentiel à surpasser les modèles ML conventionnels dans divers scénarios. Le code est disponible sur https://github.com/Pro-GenAI/LML-DAP

English

This paper introduces a new approach to using Large Language Models (LLMs) for classification tasks, which are typically handled using Machine Learning (ML) models. Unlike ML models that rely heavily on data cleaning and feature engineering, this method streamlines the process using LLMs. This paper proposes a new concept called "Language Model Learning (LML)" powered by a new method called "Data-Augmented Prediction (DAP)". The classification is performed by LLMs using a method similar to humans manually exploring and understanding the data and deciding classifications using data as a reference. Training data is summarized and evaluated to determine the features that lead to the classification of each label the most. In the process of DAP, the system uses the data summary to automatically create a query, which is used to retrieve relevant rows from the dataset. A classification is generated by the LLM using data summary and relevant rows, ensuring satisfactory accuracy even with complex data. Usage of data summary and similar data in DAP ensures context-aware decision-making. The proposed method uses the words "Act as an Explainable Machine Learning Model" in the prompt to enhance the interpretability of the predictions by allowing users to review the logic behind each prediction. In some test cases, the system scored an accuracy above 90%, proving the effectiveness of the system and its potential to outperform conventional ML models in various scenarios. The code is available at https://github.com/Pro-GenAI/LML-DAP