Ежедневно отобранные исследовательские статьи по ИИ с переводами
Методы Radiance Field недавно произвели революцию в синтезе новых видов сцен, снятых с использованием нескольких фотографий или видео. Однако достижение высокого визуального качества по-прежнему требует использования нейронных сетей, которые дорого обучать и визуализировать, в то время как более быстрые методы неизбежно жертвуют качеством ради скорости. Для неограниченных и полных сцен (в отличие изолированных объектов) и рендеринга с разрешением 1080p ни один из существующих методов не может достичь скорости отображения в реальном времени. Мы представляем три ключевых элемента, которые позволяют нам достичь передового визуального качества, сохраняя конкурентоспособное время обучения и, что важно, обеспечивают высококачественный синтез новых видов в реальном времени (>= 30 кадров в секунду) с разрешением 1080p. Во-первых, начиная с разреженных точек, полученных в процессе калибровки камеры, мы представляем сцену с помощью 3D гауссиан, которые сохраняют желаемые свойства непрерывных объемных полей излучения для оптимизации сцены, избегая при этом ненужных вычислений в пустом пространстве. Во-вторых, мы выполняем чередующуюся оптимизацию/контроль плотности 3D гауссиан, в частности оптимизируя анизотропную ковариацию для достижения точного представления сцены. В-третьих, мы разрабатываем быстрый алгоритм рендеринга с учетом видимости, который поддерживает анизотропное размытие и ускоряет обучение, а также позволяет выполнять рендеринг в реальном времени. Мы демонстрируем передовое визуальное качество и рендеринг в реальном времени на нескольких известных наборах данных.
Сервилизм — это нежелательное поведение, при котором модели подстраивают свои ответы под точку зрения пользователя, даже если она объективно неверна (например, адаптируя либеральные взгляды, как только пользователь раскрывает свою либеральную позицию). В данной статье мы исследуем распространенность сервилизма в языковых моделях и предлагаем простое вмешательство с использованием синтетических данных для снижения этого поведения. Во-первых, на наборе из трех задач на сервилизм (Perez et al., 2022), где модели просят высказать мнение по утверждениям, не имеющим правильных ответов (например, политика), мы наблюдаем, что как масштабирование моделей, так и тонкая настройка с инструкциями значительно увеличивают сервилизм для моделей PaLM вплоть до 540 миллиардов параметров. Во-вторых, мы расширяем оценку сервилизма на простые арифметические утверждения, которые объективно неверны, и обнаруживаем, что, несмотря на знание о неправильности этих утверждений, языковые модели всё равно соглашаются с ними, если пользователь делает то же самое. Для снижения сервилизма мы предлагаем простое вмешательство с использованием синтетических данных, которое берет общедоступные задачи NLP и побуждает модели быть устойчивыми к мнениям пользователей по этим задачам. Добавление этих данных в процессе легкой тонкой настройки может значительно снизить сервильное поведение на тестовых запросах. Код для генерации синтетических данных для вмешательства доступен по адресу https://github.com/google/sycophancy-intervention.
Предупреждение: данная статья содержит материалы, которые могут быть неприемлемыми или оскорбительными. По мере того как генеративные модели становятся доступными для публичного использования в различных приложениях, тестирование и анализ их уязвимостей становится приоритетной задачей. В данной работе мы предлагаем автоматизированный фреймворк для "красной команды", который оценивает заданную модель и выявляет её уязвимости в отношении генерации небезопасного и неприемлемого контента. Наш фреймворк использует обучение в контексте в рамках обратной связи для тестирования моделей и провоцирования их на генерацию небезопасного контента. Мы предлагаем различные стратегии атак в контексте для автоматического обучения эффективным и разнообразным адверсарным промптам для моделей "текст-изображение". Наши эксперименты показывают, что по сравнению с базовыми подходами предложенная стратегия значительно более эффективна в выявлении уязвимостей модели Stable Diffusion (SD), даже когда она усилена функциями безопасности. Кроме того, мы демонстрируем, что предложенный фреймворк эффективен для тестирования моделей "текст-текст", что приводит к значительно более высокой частоте генерации токсичных ответов по сравнению с ранее зарегистрированными показателями.
Крупномасштабные предварительно обученные модели для обработки изображений и текста, такие как CLIP, продемонстрировали выдающуюся производительность в задачах классификации без обучения на примерах (zero-shot), например, достигнув точности 76,3% на первом месте (top-1) на наборе данных ImageNet без использования каких-либо примеров. Это открывает потенциальные преимущества для многих задач, где отсутствуют размеченные данные. Однако при применении CLIP к целевой предметной области наличие разрывов между визуальными и текстовыми доменами, а также несоответствие между модальностями может значительно повлиять на производительность модели. Для решения этих проблем мы предлагаем ReCLIP — первый метод адаптации к домену без использования исходных данных для моделей обработки изображений и текста, который не требует ни исходных данных, ни размеченных целевых данных. ReCLIP сначала изучает проекционное пространство для смягчения несоответствия между визуальными и текстовыми эмбеддингами и генерирует псевдоразметку, а затем применяет кросс-модальное самообучение с использованием псевдоразметки для обновления визуальных и текстовых кодировщиков, уточнения разметки и последовательного уменьшения разрывов между доменами и несоответствий. В ходе обширных экспериментов мы показываем, что ReCLIP снижает среднюю частоту ошибок CLIP с 30,17% до 25,06% на 22 бенчмарках классификации изображений.
Законность обучения языковых моделей (LM) на данных, защищенных авторским правом или иным образом ограниченных, является предметом активных дискуссий. Однако, как мы показываем, производительность модели значительно снижается, если обучать её только на текстах с низким уровнем риска (например, на книгах, не защищенных авторским правом, или на правительственных документах), из-за их ограниченного объема и охвата тематик. Мы представляем SILO, новую языковую модель, которая управляет компромиссом между риском и производительностью на этапе вывода. SILO создается путем (1) обучения параметрической LM на корпусе Open License Corpus (OLC), новом корпусе, который мы собрали и который содержит 228 миллиардов токенов текстов, находящихся в общественном достоянии или распространяемых под разрешительными лицензиями, и (2) дополнения её более универсальным и легко модифицируемым непараметрическим хранилищем данных (например, содержащим книги или новости, защищенные авторским правом), которое запрашивается только на этапе вывода. Хранилище данных позволяет использовать данные с высоким уровнем риска без их обучения, поддерживает атрибуцию данных на уровне предложений и позволяет производителям данных исключить их содержимое из модели, удалив его из хранилища. Эти возможности могут способствовать соблюдению нормативных требований, таких как доктрина добросовестного использования в США и GDPR в Европейском Союзе. Наши эксперименты показывают, что параметрическая LM испытывает трудности в тематиках, не охваченных OLC. Однако доступ к хранилищу данных значительно улучшает производительность за пределами этих тематик, сокращая 90% разрыва в производительности с LM, обученной на корпусе The Pile, более разнообразном корпусе, состоящем в основном из текстов с высоким уровнем риска. Мы также анализируем, какой непараметрический подход работает лучше всего, где остаются ошибки и как производительность масштабируется с размером хранилища данных. Наши результаты показывают, что возможно создавать высококачественные языковые модели, одновременно снижая их юридические риски.