Крупные языковые модели пока не способны к самокоррекции в процессе рассуждений.
Large Language Models Cannot Self-Correct Reasoning Yet
October 3, 2023
Авторы: Jie Huang, Xinyun Chen, Swaroop Mishra, Huaixiu Steven Zheng, Adams Wei Yu, Xinying Song, Denny Zhou
cs.AI
Аннотация
Крупные языковые модели (LLM) стали прорывной технологией благодаря своим непревзойденным возможностям генерации текста в различных приложениях. Тем не менее, сохраняются опасения относительно точности и уместности создаваемого ими контента. Современный подход, известный как самокоррекция, был предложен в качестве решения этих проблем. Основываясь на этой предпосылке, данная статья критически исследует роль и эффективность самокоррекции в LLM, раскрывая ее истинный потенциал и ограничения. Центральное место в нашем исследовании занимает концепция внутренней самокоррекции, при которой LLM пытается исправить свои первоначальные ответы, полагаясь исключительно на свои внутренние возможности, без использования внешней обратной связи. В контексте логических рассуждений наши исследования показывают, что LLM испытывают трудности с самокоррекцией своих ответов без внешней обратной связи, а в некоторых случаях их производительность может даже ухудшаться после попыток самокоррекции. На основе этих выводов мы предлагаем рекомендации для будущих исследований и практического применения в данной области.
English
Large Language Models (LLMs) have emerged as a groundbreaking technology with
their unparalleled text generation capabilities across various applications.
Nevertheless, concerns persist regarding the accuracy and appropriateness of
their generated content. A contemporary methodology, self-correction, has been
proposed as a remedy to these issues. Building upon this premise, this paper
critically examines the role and efficacy of self-correction within LLMs,
shedding light on its true potential and limitations. Central to our
investigation is the notion of intrinsic self-correction, whereby an LLM
attempts to correct its initial responses based solely on its inherent
capabilities, without the crutch of external feedback. In the context of
reasoning, our research indicates that LLMs struggle to self-correct their
responses without external feedback, and at times, their performance might even
degrade post self-correction. Drawing from these insights, we offer suggestions
for future research and practical applications in this field.