Ежедневные Исследовательские Статьи по ИИ

Многомодельные модели на больших языковых корпусах (MLLM) показали значительный потенциал в различных приложениях, вызвав широкий интерес как у исследователей, так и у практиков. Однако полная оценка их возможностей в работе с длинными контекстами остается недостаточно изученной. Для заполнения этих пробелов мы представляем бенчмарк MultiModal Needle-in-a-haystack (MMNeedle), специально разработанный для оценки возможностей многомодельных моделей в работе с длинными контекстами. Помимо ввода с несколькими изображениями, мы используем стежку изображений для увеличения длины контекста ввода и разрабатываем протокол для автоматической генерации меток для поиска подизображений. В основе MMNeedle лежит оценка MLLM путем тестирования их способности находить целевое подизображение (иголку) среди набора изображений (стог сена) на основе текстовых инструкций и описаний содержания изображений. Эта настройка требует продвинутого понимания обширных визуальных контекстов и эффективного поиска информации в длинных контекстах ввода изображений. С помощью этого бенчмарка мы оцениваем современные MLLM, включая как API-ориентированные, так и открытые модели. Результаты показывают, что GPT-4o последовательно превосходит другие модели в сценариях с длинным контекстом, но сталкивается с проблемами галлюцинаций в негативных примерах, то есть, когда иголки отсутствуют в стогах сена. Наша всесторонняя оценка длинных контекстов MLLM также проливает свет на значительный разрыв в производительности между API-ориентированными и открытыми моделями. Весь код, данные и инструкции, необходимые для воспроизведения основных результатов, доступны на https://github.com/Wang-ML-Lab/multimodal-needle-in-a-haystack.

В настоящее время области обработки кода и естественного языка быстро развиваются. В частности, модели становятся лучше в обработке длинных окон контекста - поддерживаемые размеры контекста увеличились на порядки за последние несколько лет. Однако существует нехватка эталонов для обработки кода, выходящих за рамки одного файла контекста, в то время как наиболее популярные ограничены одним методом. В данной работе мы стремимся закрыть этот разрыв, представив Long Code Arena - набор из шести эталонов для задач обработки кода, требующих контекста на уровне проекта. Эти задачи охватывают различные аспекты обработки кода: генерация кода на основе библиотек, восстановление сборок CI, завершение кода на уровне проекта, генерация сообщений о фиксации, локализация ошибок и суммирование модулей. Для каждой задачи мы предоставляем проверенный вручную набор данных для тестирования, набор оценочных средств и базовые решения с открытым исходным кодом на основе популярных LLM, чтобы продемонстрировать использование набора данных и упростить его принятие другими исследователями. Мы публикуем страницу с эталонами на HuggingFace Spaces с лидербордом, ссылками на HuggingFace Hub для всех наборов данных и ссылкой на репозиторий GitHub с базовыми решениями: https://huggingface.co/spaces/JetBrains-Research/long-code-arena.

Мы представляем Self-MoE, подход, который преобразует монолитный LLM в композиционную, модульную систему самоспециализированных экспертов, названную MiXSE (Смесь Самоспециализированных Экспертов). Наш подход использует самоспециализацию, которая создает экспертные модули, используя самосгенерированные синтетические данные, каждый из которых оснащен общим базовым LLM и включает в себя самооптимизированную маршрутизацию. Это позволяет динамически и специфически для возможностей обрабатывать различные целевые задачи, улучшая общие возможности, без обширных данных, размеченных человеком, и дополнительных параметров. Наши эмпирические результаты показывают, что специализация LLM может проявлять потенциальные компромиссы в производительности на неспециализированных задачах. С другой стороны, наш Self-MoE демонстрирует существенные улучшения по сравнению с базовым LLM на различных бенчмарках, таких как знание, рассуждение, математика и программирование. Он также последовательно превосходит другие методы, включая объединение экземпляров и объединение весов, предлагая лучшую гибкость и интерпретируемость по дизайну с семантическими экспертами и маршрутизацией. Наши результаты подчеркивают важную роль модульности и потенциал самосовершенствования в достижении эффективных, масштабируемых и адаптивных систем.

Трансформеры видео (ViTs) выделились как значительная область внимания, особенно благодаря их способности к совместному обучению с крупными языковыми моделями и использованию в качестве надежных моделей основы для обработки изображений. Тем не менее, разработка надежных методов объяснения для ViTs отстает, особенно в контексте пост-фактум интерпретации предсказаний ViT. Существующие подходы к выбору подизображений, такие как атрибуция признаков и концептуальные модели, не справляются с этой задачей. В данной статье предлагается пять критериев для объяснения ViTs - достоверность, стабильность, разреженность, многоуровневая структура и лаконичность - и демонстрируется недостаточность текущих методов в полном соответствии этим критериям. Мы представляем вариационную байесовскую модель объяснений, названную ProbAbilistic Concept Explainers (PACE), которая моделирует распределения встраиваний патчей для предоставления достоверных пост-фактум концептуальных объяснений. Наше качественное анализ показывает распределения концепций на уровне патчей, проясняя эффективность ViTs путем моделирования совместного распределения встраиваний патчей и предсказаний ViT. Более того, эти объяснения на уровне патчей соединяют разрыв между объяснениями на уровне изображения и набора данных, таким образом завершая многоуровневую структуру PACE. Через обширные эксперименты как на синтетических, так и на реальных наборах данных, мы демонстрируем, что PACE превосходит современные методы с точки зрения определенных критериев.

Интеграция предварительно обученных языковых моделей (PLM), таких как BERT и GPT, революционизировала область обработки естественного языка (NLP), особенно для английского языка, но также привела к возникновению лингвистических дисбалансов. В данной статье стратегически выявляется потребность в лингвистической равноправности путем изучения нескольких техник редактирования знаний в многоязычных контекстах. Мы оцениваем производительность моделей, таких как Mistral, TowerInstruct, OpenHathi, Tamil-Llama и Kan-Llama, на различных языках, включая английский, немецкий, французский, итальянский, испанский, хинди, тамильский и каннада. Наши исследования выявляют значительные расхождения в нормальных и объединенных моделях в отношении межъязыковой согласованности. Мы применяем стратегии, такие как "каждый язык за себя" (ELFI) и "каждый язык за других" (ELFO), для проверки на прочность этих моделей. Наши результаты демонстрируют потенциал LLM для преодоления лингвистических барьеров, заложив основу для будущих исследований в области достижения лингвистической инклюзивности в технологиях искусственного интеллекта.

Модели самообучения речи (SSL) в последнее время стали широко применяться для многих последующих задач обработки речи. Обычная практика заключается в использовании моделей SSL в качестве извлекателей признаков, а затем обучении предсказательной головы для решения конкретной задачи. Однако различные слои моделей SSL показали способность захватывать разные типы информации, и методы их комбинирования пока недостаточно изучены. В этом контексте мы расширяем общую структуру использования модели SSL, предлагая интерфейс, который соединяет вход и выход. С точки зрения данного подхода, доминирующую технику комбинирования признаков через взвешенную сумму слоев можно рассматривать как конкретный интерфейс. Мы предлагаем несколько альтернативных дизайнов интерфейса и демонстрируем, что интерфейс взвешенной суммы является неоптимальным для многих задач. В частности, мы показываем, что сверточный интерфейс, глубина которого масштабируется логарифмически с глубиной входной модели, последовательно превосходит многие другие дизайны интерфейса.

Обучение с подкреплением с обратной связью от человека (RLHF) стало доминирующим методом выравнивания больших моделей на предпочтения пользователей. В отличие от тонкой настройки, для которой существует множество исследований по запоминанию обучающих данных, неясно, как запоминание влияет на процесс выравнивания RLHF или как оно в него внедряется. Понимание этого взаимодействия важно, поскольку реальные данные пользователей могут быть собраны и использованы для выравнивания больших моделей; если данные пользователей запоминаются во время RLHF и позднее воспроизводятся, это может вызвать проблемы с конфиденциальностью. В данной работе мы анализируем, как запоминание обучающих данных может проявляться и распространяться через каждую фазу RLHF. Мы фокусируем наше исследование на моделях завершения кода, поскольку завершение кода является одним из самых популярных случаев использования больших языковых моделей. Мы обнаружили, что RLHF значительно уменьшает вероятность запоминания данных, используемых для моделирования вознаграждения и обучения с подкреплением, по сравнению с выравниванием путем прямой тонкой настройки на эти данные, но примеры, уже запомненные на этапе тонкой настройки RLHF, в большинстве случаев останутся запомненными после RLHF.

Задача "забывания" определенных концепций в больших языковых моделях (LLM) недавно привлекла огромное внимание из-за ее важности для смягчения нежелательного поведения модели, такого как генерация вредной, частной или неверной информации. Существующие протоколы оценки методов "забывания" в значительной степени опираются на поведенческие тесты, не отслеживая наличие забытых знаний в параметрах модели. Эти остаточные знания могут быть злоупотреблены для восстановления стертой информации после "забывания". Мы считаем, что "забывание" также должно оцениваться внутренне, учитывая изменения в параметрических следах знаний забытых концепций. Для этого мы предлагаем общую методологию для выявления направлений в пространстве параметров (называемых "векторами концепций"), кодирующих конкретные концепции, и создаем ConceptVectors, набор данных для оценки, содержащий сотни общих концепций и их параметрические следы знаний в двух открытых LLM. Оценка на ConceptVectors показывает, что существующие методы "забывания" минимально влияют на векторы концепций, в то время как прямое удаление этих векторов демонстрирует удаление связанного с ними знания из LLM и значительно снижает их уязвимость к адверсальным манипуляциям. Наши результаты подчеркивают ограничения оценок "забывания" на основе поведения и призывают к дальнейшей работе по включению оценок на основе параметров. Для поддержки этого мы выпускаем наш код и набор данных по ссылке https://github.com/yihuaihong/ConceptVectors.