Ежедневно отобранные исследовательские статьи по ИИ с переводами
Диффузионные модели больших языковых моделей (dLLMs) недавно появились как мощная альтернатива авторегрессивным LLM, предлагая более быстрый вывод и большую интерактивность благодаря параллельному декодированию и двунаправленному моделированию. Однако, несмотря на высокую производительность в генерации кода и заполнении текста, мы выявили фундаментальную проблему безопасности: существующие механизмы выравнивания не способны защитить dLLM от контекстно-зависимых, маскированных вводов с вредоносными подсказками, что открывает новые уязвимости. В связи с этим мы представляем DIJA — первое систематическое исследование и фреймворк для атак jailbreak, который эксплуатирует уникальные слабости безопасности dLLM. В частности, наш метод DIJA создает вредоносные чередующиеся маскированные текстовые подсказки, которые используют механизмы генерации текста dLLM, такие как двунаправленное моделирование и параллельное декодирование. Двунаправленное моделирование заставляет модель генерировать контекстно-согласованные выходные данные для маскированных фрагментов, даже если они вредоносны, а параллельное декодирование ограничивает динамическую фильтрацию и отбор безопасного контента. Это приводит к сбою стандартных механизмов выравнивания, позволяя вредоносные завершения в настроенных на выравнивание dLLM, даже если вредоносное поведение или небезопасные инструкции явно присутствуют в подсказке. В ходе всесторонних экспериментов мы демонстрируем, что DIJA значительно превосходит существующие методы jailbreak, раскрывая ранее упущенную угрозу в архитектурах dLLM. В частности, наш метод достигает до 100% ASR на основе ключевых слов на Dream-Instruct, превосходя самый сильный предыдущий базовый метод ReNeLLM на 78,5% в ASR на основе оценок на JailbreakBench и на 37,7 баллов в StrongREJECT, при этом не требуя переписывания или сокрытия вредоносного контента в подсказке jailbreak. Наши результаты подчеркивают необходимость переосмысления безопасности выравнивания в этом новом классе языковых моделей. Код доступен по адресу https://github.com/ZichenWen1/DIJA.
Синтез русской речи представляет собой уникальные задачи, включая редукцию гласных, оглушение согласных, вариативные модели ударения, неоднозначность омографов и неестественную интонацию. В данной статье представлен Balalaika — новый набор данных, содержащий более 2000 часов студийного качества русской речи с подробными текстовыми аннотациями, включая пунктуацию и обозначения ударений. Экспериментальные результаты показывают, что модели, обученные на Balalaika, значительно превосходят модели, обученные на существующих наборах данных, как в задачах синтеза речи, так и в задачах её улучшения. Мы подробно описываем процесс создания набора данных, методологию аннотирования и результаты сравнительных оценок.
Представляем Franca (произносится как Фран-ка): первый полностью открытый (данные, код, веса) базовый визуальный модель, который не только соответствует, но во многих случаях превосходит производительность современных проприетарных моделей, таких как DINOv2, CLIP, SigLIPv2 и др. Наш подход основан на прозрачном конвейере обучения, вдохновленном Web-SSL, и использует общедоступные данные: ImageNet-21K и подмножество ReLAION-2B. Помимо выпуска модели, мы устраняем ключевые ограничения методов кластеризации в SSL. Хотя современные модели полагаются на присвоение признаков изображений крупным кодовым книгам с помощью алгоритмов кластеризации, таких как Sinkhorn-Knopp, они не учитывают присущую неоднозначность семантики кластеризации. Для решения этой проблемы мы представляем параметрически эффективный многоголовый проектор кластеризации, основанный на вложенных матрешечных представлениях. Этот дизайн постепенно уточняет признаки в более детализированные кластеры без увеличения размера модели, обеспечивая как производительность, так и эффективность использования памяти. Кроме того, мы предлагаем новую стратегию позиционного разделения, которая явно устраняет позиционные смещения из плотных представлений, тем самым улучшая кодирование семантического содержания. Это приводит к стабильным улучшениям на нескольких эталонных тестах, демонстрируя полезность более чистых пространств признаков. Наши вклад устанавливает новый стандарт для прозрачных, высокопроизводительных визуальных моделей и открывает путь к более воспроизводимым и обобщаемым базовым моделям для широкого сообщества ИИ. Код и контрольные точки модели доступны по адресу https://github.com/valeoai/Franca.
В эпоху больших языковых моделей (LLM) проблема согласования стала фундаментальной, но сложной задачей на пути к созданию более надежного, управляемого и мощного машинного интеллекта. Недавние успехи моделей рассуждений и диалоговых ИИ-систем подчеркнули ключевую роль обучения с подкреплением (RL) в улучшении этих систем, что стимулировало рост исследовательского интереса на стыке RL и согласования LLM. В данной статье представлен всесторонний обзор последних достижений в области согласования LLM через призму обратного обучения с подкреплением (IRL), с акцентом на различия между методами RL, используемыми в согласовании LLM, и теми, что применяются в традиционных задачах RL. В частности, мы подчеркиваем необходимость построения нейронных моделей вознаграждения на основе человеческих данных и обсуждаем формальные и практические последствия этого сдвига парадигмы. Мы начинаем с введения основных концепций RL, чтобы предоставить базовые знания для читателей, незнакомых с этой областью. Затем мы рассматриваем последние достижения в этой исследовательской повестке, обсуждая ключевые вызовы и возможности применения IRL для согласования LLM. Помимо методологических аспектов, мы исследуем практические вопросы, включая наборы данных, бенчмарки, метрики оценки, инфраструктуру и вычислительно эффективные методы обучения и вывода. Наконец, мы извлекаем идеи из литературы по RL с редкими вознаграждениями, чтобы определить открытые вопросы и потенциальные направления исследований. Синтезируя результаты различных исследований, мы стремимся предоставить структурированный и критический обзор области, выделить нерешенные проблемы и наметить перспективные направления для улучшения согласования LLM с помощью методов RL и IRL.
Разделение содержания и стиля из одного изображения, известное как декомпозиция содержания и стиля (Content-Style Decomposition, CSD), позволяет переконтекстуализировать извлечённое содержание и стилизовать извлечённые стили, что обеспечивает большую творческую гибкость в визуальном синтезе. Хотя современные методы персонализации исследовали декомпозицию явного содержания и стиля, они остаются адаптированными для диффузионных моделей. В то же время визуальное авторегрессивное моделирование (Visual Autoregressive Modeling, VAR) появилось как перспективная альтернатива с парадигмой предсказания следующего масштаба, достигая производительности, сопоставимой с диффузионными моделями. В данной работе мы исследуем VAR как генеративную основу для CSD, используя её пошаговый процесс генерации для улучшения разделения. С этой целью мы предлагаем CSD-VAR — новый метод, который вводит три ключевых инновации: (1) стратегию масштабно-ориентированного чередующегося оптимизирования, которая согласует представления содержания и стиля с их соответствующими масштабами для улучшения разделения, (2) метод коррекции на основе сингулярного разложения (SVD) для минимизации утечки содержания в представления стиля и (3) расширенную память ключ-значение (Key-Value, K-V), улучшающую сохранение идентичности содержания. Для оценки этой задачи мы представляем CSD-100 — набор данных, специально разработанный для декомпозиции содержания и стиля, включающий разнообразные объекты, представленные в различных художественных стилях. Эксперименты показывают, что CSD-VAR превосходит предыдущие подходы, достигая превосходного сохранения содержания и точности стилизации.
В данной статье рассматриваются монолитные многомодальные большие языковые модели (MLLMs), которые объединяют визуальное кодирование и языковое декодирование в единую модель. Существующие структуры и стратегии предварительного обучения для монолитных MLLMs часто сталкиваются с нестабильной оптимизацией и катастрофическим забыванием. Для решения этих проблем наша ключевая идея заключается во внедрении нового визуального параметрического пространства в предварительно обученную языковую модель, что позволяет стабильно обучать визуальные знания на зашумленных данных с помощью дельта-тюнинга. На основе этого принципа мы сначала представляем Mono-InternVL, продвинутую монолитную MLLM, которая включает набор визуальных экспертов через многомодальную архитектуру смеси экспертов. Кроме того, мы разрабатываем инновационное эндогенное визуальное предварительное обучение (EViP) для Mono-InternVL, чтобы максимизировать её визуальные возможности с помощью прогрессивного обучения. Mono-InternVL демонстрирует конкурентоспособные результаты по сравнению с существующими MLLMs, но также приводит к относительно высоким затратам на данные. Поэтому мы представляем Mono-InternVL-1.5, более дешёвую и мощную монолитную MLLM, оснащённую улучшенным EViP (EViP++). EViP++ добавляет дополнительные визуальные эксперты внимания в Mono-InternVL-1.5 и реорганизует процесс предварительного обучения более эффективным образом. Во время вывода она включает объединённое CUDA-ядро для ускорения операций смеси экспертов. Благодаря этим решениям, Mono-InternVL-1.5 значительно снижает затраты на обучение и вывод, сохраняя при этом конкурентоспособные результаты по сравнению с Mono-InternVL. Для оценки нашего подхода мы проводим обширные эксперименты на 15 бенчмарках. Результаты показывают, что Mono-InternVL превосходит существующие монолитные MLLMs на 12 из 15 бенчмарков, например, улучшение на 114 баллов по сравнению с Emu3 на OCRBench. По сравнению с её модульным аналогом, т.е. InternVL-1.5, Mono-InternVL-1.5 демонстрирует схожую многомодальную производительность, сокращая задержку первого токена до 69%. Код и модели доступны по адресу https://github.com/OpenGVLab/Mono-InternVL.
Предсказание маскированных токенов стало мощной задачей предварительного обучения для языковых, визуальных и речевых моделей, предлагая потенциал для объединения этих разнообразных модальностей через единую задачу предварительного обучения. Однако его применение для общего понимания аудио остается недостаточно изученным, и BEATs является единственным заметным примером. BEATs претерпел ограниченные модификации из-за отсутствия открытого кода для предварительного обучения. Более того, BEATs обучался только на наборе данных AudioSet, что ограничивает его применимость для более широкого круга задач. Чтобы устранить эти пробелы, мы представляем OpenBEATs — открытую платформу, которая расширяет BEATs за счет предварительного обучения на мультидоменных аудиоданных. Мы проводим всесторонние оценки на шести типах задач, двадцати пяти наборах данных и трех аудиодоменах, включая задачи аудио-рассуждений, такие как ответы на вопросы по аудио, вывод и генерация описаний. OpenBEATs достигает наилучших результатов на шести биоакустических наборах данных, двух наборах данных по окружающим звукам и пяти наборах данных для рассуждений, превосходя модели с более чем миллиардом параметров при четверти их размера. Эти результаты демонстрируют эффективность мультидоменных наборов данных и задачи предсказания маскированных токенов для обучения универсальных аудиопредставлений. Для содействия дальнейшим исследованиям и воспроизводимости мы публикуем весь код для предварительного обучения и оценки, предобученные и дообученные контрольные точки, а также журналы обучения на сайте https://shikhar-s.github.io/OpenBEATs.
Мультимодальные крупные языковые модели (MLLM) произвели революцию в кросс-модальном понимании, но продолжают сталкиваться с проблемой галлюцинаций — созданием вымышленного контента, противоречащего визуальным данным. Существующие методы смягчения галлюцинаций либо требуют непомерных вычислительных затрат, либо приводят к несоответствиям распределений между обучающими данными и выходами модели. Мы выявили ключевое наблюдение: галлюцинации преимущественно возникают на ранних этапах генерации текста и распространяются на последующие выходы. Для решения этой проблемы мы предлагаем **SENTINEL** (**S**entence-level **E**arly i**N**tervention **T**hrough **IN**-domain pr**E**ference **L**earning) — фреймворк, который устраняет зависимость от аннотаций человека. В частности, мы сначала создаем высококачественные пары предпочтений в домене, итеративно выбирая выходы модели, проверяя существование объектов с помощью двух детекторов с открытым словарем и классифицируя предложения на галлюцинированные и негаллюцинированные. Затем мы используем контекстно-согласованные положительные образцы и галлюцинированные отрицательные образцы для итеративного построения контекстно-осознанных данных предпочтений. Наконец, мы обучаем модели с использованием контекстно-осознанной функции потерь предпочтений (C-DPO), которая подчеркивает дискриминативное обучение на уровне предложений, где галлюцинации изначально проявляются. Экспериментальные результаты показывают, что SENTINEL может снизить галлюцинации более чем на 90\% по сравнению с исходной моделью и превосходит предыдущий метод, являющийся state-of-the-art, как на бенчмарках галлюцинаций, так и на общих бенчмарках возможностей, демонстрируя свое превосходство и способность к обобщению. Модели, наборы данных и код доступны по адресу https://github.com/pspdada/SENTINEL.
Как основной канал распространения современной информации, социальные сети (SNS) переживают стремительный рост, что создает значительные вызовы для управления контентом на платформах и повышения качества взаимодействия. В последнее время развитие крупных языковых моделей (LLM) предложило потенциальные решения, однако существующие исследования сосредоточены на изолированных задачах, что не только приводит к снижению отдачи от масштабирования данных в отдельных сценариях, но и не позволяет гибко адаптироваться к разнообразным реальным условиям. Для решения этих проблем мы представляем RedOne, специализированную LLM, разработанную для преодоления ограничений производительности моделей, ориентированных на одну задачу, и создания комплексной основы для SNS. RedOne была разработана с использованием трехэтапной стратегии обучения, включающей продолженное предобучение, тонкую настройку с учителем и оптимизацию предпочтений, на основе крупномасштабного набора реальных данных. В ходе обширных экспериментов RedOne демонстрирует высокие общие способности и достигает среднего улучшения до 14,02% по 8 основным задачам SNS и 7,56% в двуязычном бенчмарке оценки SNS по сравнению с базовыми моделями. Кроме того, в ходе онлайн-тестирования RedOne снизила уровень обнаружения вредоносного контента на 11,23% и повысила показатель кликабельности в поиске после просмотра на 14,95% по сравнению с моделями, настроенными на отдельные задачи. Эти результаты подтверждают, что RedOne является мощной специализированной LLM для SNS, демонстрирующей отличную обобщающую способность в различных задачах и перспективную применимость в реальных сценариях.
Оценка больших языковых моделей представляет собой сложную задачу, для решения которой было предложено несколько подходов. Наиболее распространенным является использование автоматизированных бенчмарков, в которых языковые модели должны отвечать на вопросы с множественным выбором по различным темам. Однако этот метод имеет определенные ограничения, главным из которых является слабая корреляция с человеческими оценками. Альтернативный подход заключается в привлечении людей для оценки языковых моделей. Это создает проблемы с масштабируемостью, поскольку количество моделей, которые необходимо оценить, велико и продолжает расти, что делает традиционные исследования, основанные на привлечении группы оценщиков и ранжировании их ответов, непрактичными (и дорогостоящими). Еще один подход — использование публичных арен, таких как популярная LM Arena, где любой пользователь может свободно оценивать модели по любому вопросу и сравнивать ответы двух моделей. Результаты затем обрабатываются для создания рейтинга моделей. Все более важным аспектом языковых моделей становится их энергопотребление, и поэтому интерес представляет изучение того, как осведомленность об энергопотреблении влияет на выбор модели человеком. В данной статье мы представляем GEA, Generative Energy Arena — арену, которая включает информацию об энергопотреблении модели в процесс оценки. Также представлены предварительные результаты, полученные с помощью GEA, которые показывают, что для большинства вопросов, когда пользователи осведомлены об энергопотреблении, они отдают предпочтение более компактным и энергоэффективным моделям. Это свидетельствует о том, что для большинства взаимодействий пользователей дополнительные затраты и энергопотребление, связанные с более сложными и высокопроизводительными моделями, не обеспечивают повышения воспринимаемого качества ответов, которое оправдывало бы их использование.
Данное исследование представляет собой методологию количественного управления рисками на волатильных рынках, уделяя особое внимание методам, основанным на экспектилях, применительно к индексу FTSE 100. Традиционные меры риска, такие как Value-at-Risk (VaR), продемонстрировали существенные ограничения в периоды рыночных потрясений, что было подтверждено во время финансового кризиса 2008 года и последующих периодов высокой волатильности. В данной работе разработана усовершенствованная методология на основе экспектилей, которая устраняет недостатки традиционных подходов, основанных на квантилях, обеспечивая повышенную чувствительность к хвостовым потерям и улучшенную стабильность в экстремальных рыночных условиях. Исследование использует набор данных, охватывающий два десятилетия доходности индекса FTSE 100, включая периоды высокой волатильности, рыночных крахов и фаз восстановления. Наша методология включает новые математические формулировки для моделей регрессии на основе экспектилей, усовершенствованные методы определения порогов с использованием анализа временных рядов и надежные процедуры бэктестинга. Эмпирические результаты показывают, что Value-at-Risk на основе экспектилей (EVaR) последовательно превосходит традиционные меры VaR на различных уровнях доверия и в различных рыночных условиях. Методология демонстрирует превосходную производительность в периоды высокой волатильности, снижая риск модели и повышая точность прогнозирования. Кроме того, исследование предлагает практические рекомендации по внедрению для финансовых институтов и предоставляет доказательные рекомендации для соблюдения регуляторных требований и управления портфелем. Полученные результаты вносят значительный вклад в литературу по управлению финансовыми рисками и предлагают практические инструменты для специалистов, работающих в условиях волатильных рынков.