Potencial y Peligros de los Modelos de Lenguaje Grandes como Jueces de Datos Textuales No Estructurados

Potential and Perils of Large Language Models as Judges of Unstructured Textual Data

January 14, 2025

Autores: Rewina Bedemariam, Natalie Perez, Sreyoshi Bhaduri, Satya Kapoor, Alex Gil, Elizabeth Conjar, Ikkei Itoku, David Theil, Aman Chadha, Naumaan Nayyar

cs.AI

Resumen

Los rápidos avances en los grandes modelos de lenguaje han desbloqueado capacidades notables en cuanto al procesamiento y resumen de datos de texto no estructurados. Esto tiene implicaciones para el análisis de conjuntos de datos ricos y abiertos, como respuestas a encuestas, donde los LLMs prometen destilar eficientemente temas y sentimientos clave. Sin embargo, a medida que las organizaciones recurren cada vez más a estos potentes sistemas de IA para dar sentido a la retroalimentación textual, surge una pregunta crítica: ¿podemos confiar en que los LLMs representen con precisión las perspectivas contenidas en estos conjuntos de datos basados en texto? Si bien los LLMs sobresalen en la generación de resúmenes parecidos a los humanos, existe el riesgo de que sus salidas se desvíen inadvertidamente de la verdadera sustancia de las respuestas originales. Las discrepancias entre las salidas generadas por los LLMs y los temas reales presentes en los datos podrían llevar a una toma de decisiones defectuosa, con consecuencias de gran alcance para las organizaciones. Esta investigación investiga la efectividad de los LLMs como modelos jueces para evaluar la alineación temática de resúmenes generados por otros LLMs. Utilizamos un modelo Claude Antropico para generar resúmenes temáticos a partir de respuestas abiertas de encuestas, con Titan Express de Amazon, Nova Pro y Llama de Meta sirviendo como jueces LLM. El enfoque de LLM como juez se comparó con evaluaciones humanas utilizando el kappa de Cohen, el rho de Spearman y el alfa de Krippendorff, validando una alternativa escalable a los métodos tradicionales de evaluación centrados en humanos. Nuestros hallazgos revelan que si bien los LLMs como jueces ofrecen una solución escalable comparable a los evaluadores humanos, los humanos aún pueden destacarse en la detección de matices sutiles y específicos del contexto. Esta investigación contribuye al creciente cuerpo de conocimiento sobre el análisis de texto asistido por IA. Discutimos limitaciones y proporcionamos recomendaciones para futuras investigaciones, enfatizando la necesidad de una cuidadosa consideración al generalizar los modelos jueces LLM en diversos contextos y casos de uso.

English

Rapid advancements in large language models have unlocked remarkable capabilities when it comes to processing and summarizing unstructured text data. This has implications for the analysis of rich, open-ended datasets, such as survey responses, where LLMs hold the promise of efficiently distilling key themes and sentiments. However, as organizations increasingly turn to these powerful AI systems to make sense of textual feedback, a critical question arises, can we trust LLMs to accurately represent the perspectives contained within these text based datasets? While LLMs excel at generating human-like summaries, there is a risk that their outputs may inadvertently diverge from the true substance of the original responses. Discrepancies between the LLM-generated outputs and the actual themes present in the data could lead to flawed decision-making, with far-reaching consequences for organizations. This research investigates the effectiveness of LLMs as judge models to evaluate the thematic alignment of summaries generated by other LLMs. We utilized an Anthropic Claude model to generate thematic summaries from open-ended survey responses, with Amazon's Titan Express, Nova Pro, and Meta's Llama serving as LLM judges. The LLM-as-judge approach was compared to human evaluations using Cohen's kappa, Spearman's rho, and Krippendorff's alpha, validating a scalable alternative to traditional human centric evaluation methods. Our findings reveal that while LLMs as judges offer a scalable solution comparable to human raters, humans may still excel at detecting subtle, context-specific nuances. This research contributes to the growing body of knowledge on AI assisted text analysis. We discuss limitations and provide recommendations for future research, emphasizing the need for careful consideration when generalizing LLM judge models across various contexts and use cases.