Training von Sprachmodellen auf dem Wissensgraphen: Einblicke in Halluzinationen und deren Erkennbarkeit

Training Language Models on the Knowledge Graph: Insights on Hallucinations and Their Detectability

August 14, 2024

Autoren: Jiri Hron, Laura Culp, Gamaleldin Elsayed, Rosanne Liu, Ben Adlam, Maxwell Bileschi, Bernd Bohnet, JD Co-Reyes, Noah Fiedel, C. Daniel Freeman, Izzeddin Gur, Kathleen Kenealy, Jaehoon Lee, Peter J. Liu, Gaurav Mishra, Igor Mordatch, Azade Nova, Roman Novak, Aaron Parisi, Jeffrey Pennington, Alex Rizkowsky, Isabelle Simpson, Hanie Sedghi, Jascha Sohl-dickstein, Kevin Swersky, Sharad Vikram, Tris Warkentin, Lechao Xiao, Kelvin Xu, Jasper Snoek, Simon Kornblith

cs.AI

Zusammenfassung

Obwohl viele Fähigkeiten von Sprachmodellen (LMs) mit einem höheren Trainingsbudget verbessern, ist der Einfluss der Skalierung auf Halluzinationen noch nicht vollständig verstanden. Halluzinationen treten in vielen Formen auf, und es gibt keine allgemein akzeptierte Definition. Daher konzentrieren wir uns darauf, nur diejenigen Halluzinationen zu untersuchen, bei denen eine korrekte Antwort wortwörtlich im Trainingsdatensatz erscheint. Um den Inhalt der Trainingsdaten vollständig zu kontrollieren, konstruieren wir einen Wissensgraphen (KG)-basierten Datensatz und verwenden ihn, um eine Reihe von immer größeren LMs zu trainieren. Wir stellen fest, dass für einen festen Datensatz größere und länger trainierte LMs weniger halluzinieren. Allerdings erfordert das Halluzinieren von weniger als 5% der Trainingsdaten ein Modell, das um eine Größenordnung größer ist und somit eine um eine Größenordnung höhere Rechenleistung erfordert, als von Hoffmann et al. (2022) als optimal berichtet wurde. Angesichts dieser Kostenintensität untersuchen wir, wie Halluzinationsdetektoren von der Skalierung abhängen. Während wir sehen, dass die Größe des Detektors die Leistung bei festen Ausgaben des LM verbessert, stellen wir fest, dass es eine umgekehrte Beziehung zwischen der Skala des LMs und der Erkennbarkeit seiner Halluzinationen gibt.

English

While many capabilities of language models (LMs) improve with increased training budget, the influence of scale on hallucinations is not yet fully understood. Hallucinations come in many forms, and there is no universally accepted definition. We thus focus on studying only those hallucinations where a correct answer appears verbatim in the training set. To fully control the training data content, we construct a knowledge graph (KG)-based dataset, and use it to train a set of increasingly large LMs. We find that for a fixed dataset, larger and longer-trained LMs hallucinate less. However, hallucinating on leq5% of the training data requires an order of magnitude larger model, and thus an order of magnitude more compute, than Hoffmann et al. (2022) reported was optimal. Given this costliness, we study how hallucination detectors depend on scale. While we see detector size improves performance on fixed LM's outputs, we find an inverse relationship between the scale of the LM and the detectability of its hallucinations.