Ежедневные статьи

Языковые модели на основе трансформеров равномерно распределяют операции с плавающей запятой (FLOPs) по входным последовательностям. В данной работе мы демонстрируем, что трансформеры могут вместо этого научиться динамически распределять FLOPs (или вычисления) на конкретные позиции в последовательности, оптимизируя распределение вдоль последовательности для различных слоев модели. Наш метод обеспечивает общий бюджет вычислений путем ограничения количества токенов (k), которые могут участвовать в самовнимании и вычислениях MLP на данном слое. Токены для обработки определяются сетью с использованием механизма маршрутизации top-k. Поскольку k определяется заранее, этот простой метод использует статический вычислительный граф с известными размерами тензоров, в отличие от других методов условных вычислений. Тем не менее, поскольку идентификаторы k токенов изменчивы, этот метод может неравномерно расходовать FLOPs по временным и глубинным измерениям модели. Таким образом, расход вычислений полностью предсказуем в общей сумме, но динамичен и контекстно-чувствителен на уровне токенов. Модели, обученные таким образом, не только учатся динамически распределять вычисления, но делают это эффективно. Эти модели соответствуют базовой производительности для эквивалентных FLOPS и времени обучения на стенде, но требуют долю FLOPs на каждый прямой проход и могут быть на 50\% быстрее на шаге во время пост-тренировочной выборки.

Мы представляем моделирование визуальной авторегрессии (VAR), новое поколение парадигмы, которое переопределяет авторегрессивное обучение на изображениях как грубое-к-тонкому предсказанию следующего масштаба или следующего разрешения, отклоняясь от стандартного предсказания следующего токена по растровому скану. Этот простой и интуитивный метод позволяет авторегрессивным (AR) трансформерам быстро изучать визуальные распределения и хорошо обобщать: VAR впервые позволяет моделям AR превзойти трансформеры диффузии в генерации изображений. На стандартном наборе данных ImageNet 256x256, VAR значительно улучшает базовую модель AR, улучшая расстояние Фреше-Инцепшн (FID) с 18,65 до 1,80, оценку инцепшн (IS) с 80,4 до 356,4, приблизительно в 20 раз увеличивая скорость вывода. Эмпирически также подтверждено, что VAR превосходит трансформер диффузии (DiT) в нескольких аспектах, включая качество изображения, скорость вывода, эффективность данных и масштабируемость. Увеличение масштаба моделей VAR демонстрирует четкие законы масштабирования степенного закона, аналогичные наблюдаемым в LLM, с линейными коэффициентами корреляции около -0,998 в качестве убедительного доказательства. VAR также демонстрирует способность к обобщению без обучения на примерах в задачах последующего использования, включая заполнение изображения, восстановление изображения и редактирование. Эти результаты указывают на то, что VAR начально эмулирует два важных свойства LLM: законы масштабирования и обобщение задач без обучения на примерах. Мы выпустили все модели и коды для поощрения исследования моделей AR/VAR для визуальной генерации и объединенного обучения.

Алгоритмическое мышление относится к способности понимать сложные паттерны задачи и декомпозировать их на последовательность логических шагов к решению. Такая природа алгоритмического мышления представляет собой вызов для больших языковых моделей (LLM), несмотря на то, что они продемонстрировали многообещающую производительность в других задачах рассуждения. В этом контексте некоторые недавние исследования используют языки программирования (например, Python) для выражения необходимой логики решения данного экземпляра/вопроса (например, Программа-Мысли), вдохновляясь их строгими и точными синтаксисами. Однако написание исполняемого кода, выражающего правильную логику на лету в рамках одного вызова вывода, является нетривиальной задачей. Кроме того, сгенерированный специально для экземпляра код не может быть использован повторно для других, даже если они относятся к той же задаче и могут требовать идентичной логики для решения. В данной статье представлена концепция "Думай и Выполняй", новая платформа, которая декомпозирует процесс рассуждения языковых моделей на два этапа. (1) На этапе Думай мы находим логику на уровне задачи, которая обща для всех экземпляров решения данной задачи, и затем выражаем эту логику псевдокодом; (2) На этапе Выполняй мы дополнительно настраиваем сгенерированный псевдокод для каждого экземпляра и моделируем выполнение кода. Проведя обширные эксперименты по семи задачам алгоритмического рассуждения, мы демонстрируем эффективность "Думай и Выполняй". Наш подход лучше улучшает рассуждение LMs по сравнению с несколькими сильными базовыми вариантами, выполняющими рассуждение для каждого экземпляра (например, CoT и PoT), что указывает на полезность обнаружения логики на уровне задачи. Также мы показываем, что по сравнению с естественным языком, псевдокод может лучше направлять рассуждение LMs, даже если они обучены следовать инструкциям на естественном языке.

Модели на основе диффузии без настройки продемонстрировали значительный потенциал в области персонализации и настройки изображений. Однако, несмотря на значительный прогресс, текущие модели продолжают бороться с несколькими сложными проблемами в создании стильно-согласованной генерации изображений. Во-первых, концепция стиля по своей природе недоопределена, охватывая множество элементов, таких как цвет, материал, атмосфера, дизайн и структура, среди прочих. Во-вторых, методы на основе инверсии подвержены деградации стиля, часто приводя к потере мелких деталей. Наконец, подходы на основе адаптеров часто требуют тщательной настройки весов для каждого опорного изображения, чтобы достичь баланса между интенсивностью стиля и управляемостью текста. В данной статье мы начинаем с рассмотрения нескольких убедительных, но часто пренебрегаемых наблюдений. Затем мы переходим к представлению InstantStyle, фреймворка, разработанного для решения этих проблем путем реализации двух ключевых стратегий: 1) Простой механизм, который разделяет стиль и контент от опорных изображений в пространстве признаков, основанный на предположении, что признаки в одном и том же пространстве могут быть либо добавлены, либо вычтены друг из друга. 2) Внедрение признаков опорного изображения исключительно в блоки, специфичные для стиля, тем самым предотвращая утечки стиля и избегая необходимости громоздкой настройки весов, которая часто характеризует более параметрически насыщенные конструкции. Наша работа демонстрирует превосходные результаты визуальной стилизации, достигая оптимального баланса между интенсивностью стиля и управляемостью текстовых элементов. Наш код будет доступен по адресу https://github.com/InstantStyle/InstantStyle.

Большие языковые модели (LLM) продемонстрировали отличное владение человеческим языком, однако все еще испытывают трудности в реальных приложениях, требующих решения математических задач. Несмотря на разработку множества стратегий и наборов данных для улучшения математических навыков LLM, остается вызовом одновременное поддержание и улучшение как языковых, так и математических способностей в развернутых системах LLM. В данной работе мы настраиваем конвейер самокритики, который решает проблему на этапе обучения обратной связи выравнивания LLM. Сначала мы обучаем общую модель Math-Critique из самой LLM для предоставления сигналов обратной связи. Затем последовательно применяем отклоняющую донастройку и прямую оптимизацию предпочтений над собственными генерациями LLM для сбора данных. Основываясь на ChatGLM3-32B, мы проводим серию экспериментов как на академических, так и на нашем новом сложном наборе данных MathUserEval. Результаты показывают, что наш конвейер значительно улучшает математическое решение проблем LLM, сохраняя и улучшая его языковые способности, превосходя LLM, которые могут быть вдвое больше. Связанные техники были развернуты для ChatGLM\url{https://chatglm.cn}, онлайн-серверной LLM. Связанный набор данных для оценки и скрипты доступны по ссылке https://github.com/THUDM/ChatGLM-Math.

Масштабирование размера модели и данных оказалось довольно успешным для развития LLMs. Однако законы масштабирования для моделей текст-к изображению (T2I) на основе диффузии пока не до конца изучены. Также неясно, как эффективно масштабировать модель для улучшения производительности при сниженных затратах. Различные настройки обучения и высокие затраты на обучение делают честное сравнение моделей чрезвычайно сложным. В данной работе мы эмпирически изучаем свойства масштабирования моделей T2I на основе диффузии, проводя обширные и строгие исследования по масштабированию как основных компонентов удаления шума, так и обучающего набора, включая обучение масштабированных вариантов UNet и трансформеров с числом параметров от 0.4B до 4B на наборах данных до 600 млн изображений. При масштабировании модели мы обнаружили, что расположение и количество кросс-внимания различают производительность существующих конструкций UNet. Увеличение блоков трансформера более параметроэффективно для улучшения согласования текст-изображение, чем увеличение числа каналов. Затем мы выявили эффективный вариант UNet, который на 45% меньше и на 28% быстрее, чем UNet SDXL. На стороне масштабирования данных мы показываем, что качество и разнообразие обучающего набора имеют большее значение, чем просто размер набора данных. Увеличение плотности и разнообразия подписей улучшает производительность согласования текст-изображение и эффективность обучения. Наконец, мы предоставляем функции масштабирования для прогнозирования производительности согласования текст-изображение как функции от масштаба размера модели, вычислений и размера набора данных.

Данное исследование исследует роль кросс-внимания во время вывода в текстово-условных моделях диффузии. Мы обнаружили, что выходы кросс-внимания сходятся к фиксированной точке после нескольких шагов вывода. Следовательно, момент сходимости естественным образом делит весь процесс вывода на две стадии: начальную стадию планирования семантики, во время которой модель полагается на кросс-внимание для планирования текстоориентированной визуальной семантики, и последующую стадию улучшения достоверности, во время которой модель пытается генерировать изображения из заранее запланированной семантики. Удивительно, что игнорирование текстовых условий на стадии улучшения достоверности не только снижает сложность вычислений, но и сохраняет производительность модели. Это приводит к простому и не требующему обучения методу, названному TGATE для эффективной генерации, который кэширует выход кросс-внимания после его сходимости и сохраняет его неизменным во время оставшихся шагов вывода. Наше эмпирическое исследование на проверочном наборе данных MS-COCO подтверждает его эффективность. Исходный код TGATE доступен по адресу https://github.com/HaozheLiu-ST/T-GATE.

Этот документ позволяет осуществлять редактирование NeRF с высокой степенью достоверности и передачи по частотной декомпозиции. Недавние конвейеры редактирования NeRF преобразуют результаты стилизации 2D в сцены 3D, однако страдают от размытых результатов и не удается захватить детальные структуры, вызванные несоответствием между 2D редактированиями. Наш ключевой анализ заключается в том, что низкочастотные компоненты изображений более мультивидово согласованы после редактирования по сравнению с их высокочастотными частями. Более того, стиль внешнего вида в основном проявляется на низкочастотных компонентах, а детали контента особенно находятся в высокочастотных частях. Это мотивирует нас выполнять редактирование на низкочастотных компонентах, что приводит к созданию сцен с высокой степенью достоверности. Кроме того, редактирование выполняется в пространстве низкочастотных признаков, обеспечивая стабильный контроль интенсивности и новую передачу сцен. Обширные эксперименты, проведенные на фотореалистичных наборах данных, демонстрируют превосходную производительность редактирования NeRF с высокой степенью достоверности и передачи. Страница проекта находится по адресу https://aigc3d.github.io/freditor.