Cohérence interne et auto-feedback dans les grands modèles de langage : une étude

Internal Consistency and Self-Feedback in Large Language Models: A Survey

July 19, 2024

Auteurs: Xun Liang, Shichao Song, Zifan Zheng, Hanyu Wang, Qingchen Yu, Xunkai Li, Rong-Hua Li, Feiyu Xiong, Zhiyu Li

cs.AI

Résumé

Les grands modèles de langage (LLMs) sont censés répondre avec précision, mais ils présentent souvent des lacunes dans leur raisonnement ou génèrent du contenu hallucinatoire. Pour remédier à ces problèmes, des études préfixées par « Self- » telles que Self-Consistency, Self-Improve et Self-Refine ont été initiées. Elles partagent une caractéristique commune : impliquer les LLMs dans l'évaluation et la mise à jour d'eux-mêmes pour atténuer ces problèmes. Cependant, ces efforts manquent d'une perspective unifiée en matière de synthèse, car les études existantes se concentrent principalement sur la catégorisation sans examiner les motivations sous-jacentes à ces travaux. Dans cet article, nous résumons un cadre théorique, appelé Internal Consistency (cohérence interne), qui offre des explications unifiées pour des phénomènes tels que le manque de raisonnement et la présence d'hallucinations. Internal Consistency évalue la cohérence entre la couche latente, la couche de décodage et la couche de réponse des LLMs en s'appuyant sur des méthodologies d'échantillonnage. En développant ce cadre, nous introduisons un cadre théorique simplifié mais efficace, capable d'exploiter la Internal Consistency, nommé Self-Feedback (auto-feedback). Le cadre Self-Feedback se compose de deux modules : Self-Evaluation (auto-évaluation) et Self-Update (auto-mise à jour). Ce cadre a été utilisé dans de nombreuses études. Nous classons systématiquement ces études par tâches et axes de recherche ; résumons les méthodes d'évaluation et les benchmarks pertinents ; et explorons la question : « Le Self-Feedback fonctionne-t-il vraiment ? » Nous proposons plusieurs points de vue critiques, notamment l'« Évolution en sablier de la Internal Consistency », l'hypothèse « La cohérence est (presque) la justesse », et « Le paradoxe du raisonnement latent et explicite ». En outre, nous esquissons des directions prometteuses pour les recherches futures. Nous avons ouvert le code expérimental, la liste de références et les données statistiques, disponibles à l'adresse suivante : https://github.com/IAAR-Shanghai/ICSFSurvey.

English

Large language models (LLMs) are expected to respond accurately but often exhibit deficient reasoning or generate hallucinatory content. To address these, studies prefixed with ``Self-'' such as Self-Consistency, Self-Improve, and Self-Refine have been initiated. They share a commonality: involving LLMs evaluating and updating itself to mitigate the issues. Nonetheless, these efforts lack a unified perspective on summarization, as existing surveys predominantly focus on categorization without examining the motivations behind these works. In this paper, we summarize a theoretical framework, termed Internal Consistency, which offers unified explanations for phenomena such as the lack of reasoning and the presence of hallucinations. Internal Consistency assesses the coherence among LLMs' latent layer, decoding layer, and response layer based on sampling methodologies. Expanding upon the Internal Consistency framework, we introduce a streamlined yet effective theoretical framework capable of mining Internal Consistency, named Self-Feedback. The Self-Feedback framework consists of two modules: Self-Evaluation and Self-Update. This framework has been employed in numerous studies. We systematically classify these studies by tasks and lines of work; summarize relevant evaluation methods and benchmarks; and delve into the concern, ``Does Self-Feedback Really Work?'' We propose several critical viewpoints, including the ``Hourglass Evolution of Internal Consistency'', ``Consistency Is (Almost) Correctness'' hypothesis, and ``The Paradox of Latent and Explicit Reasoning''. Furthermore, we outline promising directions for future research. We have open-sourced the experimental code, reference list, and statistical data, available at https://github.com/IAAR-Shanghai/ICSFSurvey.