Большие языковые модели могут самостоятельно улучшаться в долгосрочном контекстном рассуждении.Large Language Models Can Self-Improve in Long-context Reasoning
Большие языковые модели (LLM) достигли значительного прогресса в обработке длинных контекстов, но по-прежнему испытывают трудности с рассуждениями в длинных контекстах. Существующие подходы обычно включают донастройку LLM с использованием синтетических данных, которые зависят от аннотаций от человеческих экспертов или продвинутых моделей, таких как GPT-4, что ограничивает дальнейшее развитие. Для решения этой проблемы мы исследуем потенциал самоусовершенствования LLM в рассуждениях в длинных контекстах и предлагаем наш подход, специально разработанный для этой цели. Этот подход прост: мы выбираем несколько вариантов ответов на каждый вопрос, оцениваем их с использованием минимального байесовского риска, а затем применяем надзорную донастройку или оптимизацию предпочтений на основе этих вариантов. Обширные эксперименты на нескольких ведущих LLM демонстрируют эффективность нашего подхода, с абсолютным улучшением на 4,2 пункта для Llama-3.1-8B-Instruct. Более того, наш подход достигает более высокой производительности по сравнению с предыдущими подходами, зависящими от данных, созданных человеческими экспертами или продвинутыми моделями. Мы предвидим, что данная работа откроет новые пути для техник самоусовершенствования в сценариях с длинными контекстами, которые являются необходимыми для постоянного развития LLM.