Максимально задействуйте контекст для вашей модели языковой модели.

Make Your LLM Fully Utilize the Context

April 25, 2024

Авторы: Shengnan An, Zexiong Ma, Zeqi Lin, Nanning Zheng, Jian-Guang Lou

cs.AI

Аннотация

Хотя многие современные большие языковые модели (LLM) могут обрабатывать длинные входные данные, они все еще испытывают трудности в полном использовании информации в рамках длинного контекста, известного как вызов "потерянный посередине". Мы предполагаем, что это происходит из-за недостаточного явного надзора во время обучения на длинном контексте, что не подчеркивает, что любая позиция в длинном контексте может содержать важную информацию. Исходя из этого интуитивного предположения, наше исследование представляет информационно-насыщенное (IN2) обучение, чисто данных ориентированное решение для преодоления вызова "потерянный посередине". Конкретно, обучение IN2 использует синтезированный набор данных вопрос-ответ на длинный контекст, где ответ требует (1) точного понимания информации в коротком сегменте (~128 токенов) в синтезированном длинном контексте (4K-32K токенов), и (2) интеграции и рассуждения на основе информации из двух или более коротких сегментов. Применяя это информационно-насыщенное обучение на Mistral-7B, мы представляем FILM-7B (Fill-in-the-Middle). Для тщательной оценки способности FILM-7B использовать длинные контексты, мы разрабатываем три задачи проверки, охватывающие различные стили контекста (документ, код и структурированный контекст данных) и шаблоны поиска информации (прямой, обратный и двунаправленный поиск). Результаты проверки показывают, что FILM-7B надежно извлекает информацию из различных позиций в своем окне контекста 32K. Помимо этих проверочных задач, FILM-7B значительно улучшает производительность на задачах реального мира с длинным контекстом (например, 23.5->26.9 показатель F1 на NarrativeQA), сохраняя сопоставимую производительность на задачах с коротким контекстом (например, 59.3->59.2 точность на MMLU). Ссылка на Github: https://github.com/microsoft/FILM.

English

While many contemporary large language models (LLMs) can process lengthy input, they still struggle to fully utilize information within the long context, known as the lost-in-the-middle challenge. We hypothesize that it stems from insufficient explicit supervision during the long-context training, which fails to emphasize that any position in a long context can hold crucial information. Based on this intuition, our study presents information-intensive (IN2) training, a purely data-driven solution to overcome lost-in-the-middle. Specifically, IN2 training leverages a synthesized long-context question-answer dataset, where the answer requires (1) fine-grained information awareness on a short segment (~128 tokens) within a synthesized long context (4K-32K tokens), and (2) the integration and reasoning of information from two or more short segments. Through applying this information-intensive training on Mistral-7B, we present FILM-7B (FILl-in-the-Middle). To thoroughly assess the ability of FILM-7B for utilizing long contexts, we design three probing tasks that encompass various context styles (document, code, and structured-data context) and information retrieval patterns (forward, backward, and bi-directional retrieval). The probing results demonstrate that FILM-7B can robustly retrieve information from different positions in its 32K context window. Beyond these probing tasks, FILM-7B significantly improves the performance on real-world long-context tasks (e.g., 23.5->26.9 F1 score on NarrativeQA), while maintaining a comparable performance on short-context tasks (e.g., 59.3->59.2 accuracy on MMLU). Github Link: https://github.com/microsoft/FILM.