Wie verändert sich das Verhalten von ChatGPT im Laufe der Zeit?

How is ChatGPT's behavior changing over time?

July 18, 2023

Autoren: Lingjiao Chen, Matei Zaharia, James Zou

cs.AI

Zusammenfassung

GPT-3.5 und GPT-4 sind die beiden am weitesten verbreiteten Dienste für große Sprachmodelle (Large Language Models, LLM). Wann und wie diese Modelle im Laufe der Zeit aktualisiert werden, bleibt jedoch undurchsichtig. Hier bewerten wir die Versionen von GPT-3.5 und GPT-4 aus März 2023 und Juni 2023 anhand von vier verschiedenen Aufgaben: 1) Lösen von mathematischen Problemen, 2) Beantworten sensibler/gefährlicher Fragen, 3) Generieren von Code und 4) visuelles Schlussfolgern. Wir stellen fest, dass die Leistung und das Verhalten sowohl von GPT-3.5 als auch von GPT-4 im Laufe der Zeit erheblich variieren können. Beispielsweise war GPT-4 (März 2023) sehr gut darin, Primzahlen zu identifizieren (Genauigkeit 97,6 %), während GPT-4 (Juni 2023) bei denselben Fragen sehr schlecht abschnitt (Genauigkeit 2,4 %). Interessanterweise war GPT-3.5 (Juni 2023) in dieser Aufgabe deutlich besser als GPT-3.5 (März 2023). GPT-4 war im Juni weniger bereit, sensible Fragen zu beantworten als im März, und sowohl GPT-4 als auch GPT-3.5 wiesen im Juni mehr Formatierungsfehler bei der Code-Generierung auf als im März. Insgesamt zeigen unsere Ergebnisse, dass sich das Verhalten desselben LLM-Dienstes in relativ kurzer Zeit erheblich ändern kann, was die Notwendigkeit einer kontinuierlichen Überwachung der Qualität von LLMs unterstreicht.

English

GPT-3.5 and GPT-4 are the two most widely used large language model (LLM) services. However, when and how these models are updated over time is opaque. Here, we evaluate the March 2023 and June 2023 versions of GPT-3.5 and GPT-4 on four diverse tasks: 1) solving math problems, 2) answering sensitive/dangerous questions, 3) generating code and 4) visual reasoning. We find that the performance and behavior of both GPT-3.5 and GPT-4 can vary greatly over time. For example, GPT-4 (March 2023) was very good at identifying prime numbers (accuracy 97.6%) but GPT-4 (June 2023) was very poor on these same questions (accuracy 2.4%). Interestingly GPT-3.5 (June 2023) was much better than GPT-3.5 (March 2023) in this task. GPT-4 was less willing to answer sensitive questions in June than in March, and both GPT-4 and GPT-3.5 had more formatting mistakes in code generation in June than in March. Overall, our findings shows that the behavior of the same LLM service can change substantially in a relatively short amount of time, highlighting the need for continuous monitoring of LLM quality.