Mogelijkheden en Gevaren van Grote Taalmodellen als Beoordelaars van Ongestructureerde Tekstuele Data

Potential and Perils of Large Language Models as Judges of Unstructured Textual Data

January 14, 2025

Auteurs: Rewina Bedemariam, Natalie Perez, Sreyoshi Bhaduri, Satya Kapoor, Alex Gil, Elizabeth Conjar, Ikkei Itoku, David Theil, Aman Chadha, Naumaan Nayyar

cs.AI

Samenvatting

Snelle vooruitgang in grote taalmodellen heeft opmerkelijke mogelijkheden ontsloten als het gaat om het verwerken en samenvatten van ongestructureerde tekstgegevens. Dit heeft implicaties voor de analyse van rijke, open datasets, zoals enquêtereacties, waar taalmodellen de belofte in zich dragen om efficiënt de belangrijkste thema's en sentimenten te destilleren. Echter, nu organisaties steeds vaker gebruik maken van deze krachtige AI-systemen om tekstuele feedback te begrijpen, rijst een kritische vraag: kunnen we taalmodellen vertrouwen om de perspectieven nauwkeurig weer te geven die vervat zitten in deze op tekst gebaseerde datasets? Hoewel taalmodellen uitblinken in het genereren van mensachtige samenvattingen, bestaat het risico dat hun uitvoer onbedoeld kan afwijken van de ware inhoud van de oorspronkelijke reacties. Verschillen tussen de door taalmodellen gegenereerde uitvoer en de daadwerkelijke thema's in de gegevens kunnen leiden tot gebrekkige besluitvorming, met verstrekkende gevolgen voor organisaties. Dit onderzoek onderzoekt de effectiviteit van taalmodellen als beoordelingsmodellen om de thematische afstemming van samenvattingen die door andere taalmodellen zijn gegenereerd, te evalueren. We hebben een Anthropische Claude-model gebruikt om thematische samenvattingen te genereren van open enquêtereacties, waarbij Amazon's Titan Express, Nova Pro, en Meta's Llama dienden als taalmodellen-beoordelaars. De aanpak van taalmodellen als beoordelaars werd vergeleken met menselijke beoordelingen met behulp van Cohen's kappa, Spearman's rho, en Krippendorff's alpha, waarbij een schaalbare alternatief voor traditionele op mensen gerichte evaluatiemethoden werd gevalideerd. Onze bevindingen tonen aan dat hoewel taalmodellen als beoordelaars een schaalbare oplossing bieden die vergelijkbaar is met menselijke beoordelaars, mensen nog steeds uitblinken in het detecteren van subtiele, contextspecifieke nuances. Dit onderzoek draagt bij aan de groeiende kennis over door AI ondersteunde tekstanalyse. We bespreken beperkingen en geven aanbevelingen voor toekomstig onderzoek, waarbij de noodzaak wordt benadrukt van zorgvuldige overweging bij het generaliseren van taalmodel-beoordelingsmodellen over verschillende contexten en toepassingen.

English

Rapid advancements in large language models have unlocked remarkable capabilities when it comes to processing and summarizing unstructured text data. This has implications for the analysis of rich, open-ended datasets, such as survey responses, where LLMs hold the promise of efficiently distilling key themes and sentiments. However, as organizations increasingly turn to these powerful AI systems to make sense of textual feedback, a critical question arises, can we trust LLMs to accurately represent the perspectives contained within these text based datasets? While LLMs excel at generating human-like summaries, there is a risk that their outputs may inadvertently diverge from the true substance of the original responses. Discrepancies between the LLM-generated outputs and the actual themes present in the data could lead to flawed decision-making, with far-reaching consequences for organizations. This research investigates the effectiveness of LLMs as judge models to evaluate the thematic alignment of summaries generated by other LLMs. We utilized an Anthropic Claude model to generate thematic summaries from open-ended survey responses, with Amazon's Titan Express, Nova Pro, and Meta's Llama serving as LLM judges. The LLM-as-judge approach was compared to human evaluations using Cohen's kappa, Spearman's rho, and Krippendorff's alpha, validating a scalable alternative to traditional human centric evaluation methods. Our findings reveal that while LLMs as judges offer a scalable solution comparable to human raters, humans may still excel at detecting subtle, context-specific nuances. This research contributes to the growing body of knowledge on AI assisted text analysis. We discuss limitations and provide recommendations for future research, emphasizing the need for careful consideration when generalizing LLM judge models across various contexts and use cases.