Potentiel et dangers des grands modèles de langage en tant que juges de données textuelles non structurées

Potential and Perils of Large Language Models as Judges of Unstructured Textual Data

January 14, 2025

Auteurs: Rewina Bedemariam, Natalie Perez, Sreyoshi Bhaduri, Satya Kapoor, Alex Gil, Elizabeth Conjar, Ikkei Itoku, David Theil, Aman Chadha, Naumaan Nayyar

cs.AI

Résumé

Les progrès rapides dans les grands modèles de langage ont débloqué des capacités remarquables en matière de traitement et de résumé des données textuelles non structurées. Cela a des implications pour l'analyse de jeux de données riches et ouverts, tels que les réponses à des enquêtes, où les GPT offrent la promesse de distiller efficacement les thèmes clés et les sentiments. Cependant, à mesure que les organisations se tournent de plus en plus vers ces puissants systèmes d'IA pour donner un sens aux retours textuels, une question critique se pose : pouvons-nous faire confiance aux GPT pour représenter avec précision les perspectives contenues dans ces ensembles de données textuelles ? Alors que les GPT excellent dans la génération de résumés semblables à ceux des humains, il existe un risque que leurs sorties divergent involontairement de la véritable substance des réponses originales. Les divergences entre les sorties générées par les GPT et les thèmes réels présents dans les données pourraient entraîner une prise de décision défectueuse, avec des conséquences importantes pour les organisations. Cette recherche étudie l'efficacité des GPT en tant que modèles juges pour évaluer l'alignement thématique des résumés générés par d'autres GPT. Nous avons utilisé un modèle Claude anthropique pour générer des résumés thématiques à partir des réponses ouvertes à des enquêtes, avec Titan Express d'Amazon, Nova Pro et Llama de Meta servant de juges GPT. L'approche des GPT en tant que juges a été comparée à des évaluations humaines en utilisant le kappa de Cohen, le rho de Spearman et l'alpha de Krippendorff, validant une alternative évolutive aux méthodes d'évaluation traditionnellement centrées sur l'humain. Nos résultats révèlent que bien que les GPT en tant que juges offrent une solution évolutive comparable aux évaluateurs humains, les humains peuvent toujours exceller dans la détection de nuances subtiles et contextuelles. Cette recherche contribue au corpus croissant de connaissances sur l'analyse de texte assistée par l'IA. Nous discutons des limitations et fournissons des recommandations pour les futures recherches, en soulignant la nécessité de prendre soigneusement en compte la généralisation des modèles juges GPT dans divers contextes et cas d'utilisation.

English

Rapid advancements in large language models have unlocked remarkable capabilities when it comes to processing and summarizing unstructured text data. This has implications for the analysis of rich, open-ended datasets, such as survey responses, where LLMs hold the promise of efficiently distilling key themes and sentiments. However, as organizations increasingly turn to these powerful AI systems to make sense of textual feedback, a critical question arises, can we trust LLMs to accurately represent the perspectives contained within these text based datasets? While LLMs excel at generating human-like summaries, there is a risk that their outputs may inadvertently diverge from the true substance of the original responses. Discrepancies between the LLM-generated outputs and the actual themes present in the data could lead to flawed decision-making, with far-reaching consequences for organizations. This research investigates the effectiveness of LLMs as judge models to evaluate the thematic alignment of summaries generated by other LLMs. We utilized an Anthropic Claude model to generate thematic summaries from open-ended survey responses, with Amazon's Titan Express, Nova Pro, and Meta's Llama serving as LLM judges. The LLM-as-judge approach was compared to human evaluations using Cohen's kappa, Spearman's rho, and Krippendorff's alpha, validating a scalable alternative to traditional human centric evaluation methods. Our findings reveal that while LLMs as judges offer a scalable solution comparable to human raters, humans may still excel at detecting subtle, context-specific nuances. This research contributes to the growing body of knowledge on AI assisted text analysis. We discuss limitations and provide recommendations for future research, emphasizing the need for careful consideration when generalizing LLM judge models across various contexts and use cases.