Ежедневные Исследовательские Статьи по ИИ

Многие повседневные задачи программирования, такие как оповещение о важных строках журнала, исправление некорректного JSON или ранжирование результатов поиска по намерению, плохо поддаются реализации на основе чётких правил и всё чаще передаются API больших языковых моделей в ущерб локальности, воспроизводимости и стоимости. Мы предлагаем программирование с нечёткой функцией: компиляцию такой функции из спецификации на естественном языке в компактный, локально исполняемый нейросетевой артефакт. Мы реализуем эту парадигму с помощью подхода «Программа как веса» (PAW), в котором компилятор объёмом 4B параметров, обученный на нашем наборе данных FuzzyBench (10 миллионов примеров, который мы публикуем), генерирует адаптеры с малым числом параметров для замороженного лёгкого интерпретатора. Интерпретатор Qwen3 объёмом 0,6B, выполняющий программы PAW, достигает производительности прямого промптинга Qwen3-32B, используя при этом примерно одну пятидесятую памяти для инференса и работая со скоростью 30 токенов/с на MacBook M3. PAW переосмысливает фундаментальную модель: из решателя задач для каждого входного запроса она превращается в инструментального строителя: вызывается один раз на определение функции и создаёт небольшой многократно используемый артефакт, последующие вызовы которого в расчёте на одно применение функции дёшевы и выполняются офлайн.

Память для LLM-агента с длинным горизонтом планирования представляет собой контракт, определяющий, к какой информации может обращаться каждое будущее решение. Простейший контракт добавляет в каждый промпт прошлые наблюдения, вызовы инструментов и рефлексии, что делает предыдущий контекст легкодоступным, но также превращает его в перемешанную смесь, где эффект отдельного компонента памяти трудно изолировать. Мы представляем и внедряем альтернативный ограниченный контракт: каждое решение принимается на основе нового сообщения пользователя, собранного с помощью типизированного извлечения, без добавления необработанных межрешенийных транскриптов. Таким образом, промпт остается ограниченным при запусках любой длины, и любой отдельный слой может быть удален изолированно. Мы реализуем этот контракт в игре Slay the Spire 2 — стохастической игре по сборке колоды с закрытыми правилами, прохождение которой требует сотен тактических и стратегических решений. Публичный онлайн-бенчмарк передовых LLM на той же игре сообщает о нулевых победах на низшей сложности в пяти конфигурациях, а сообщаемый разработчиками процент побед человека на той же сложности составляет 16%; задача сложна, но не насыщена. В рамках нашего тестового стенда абляция с фиксированным A0 показывает наибольшее наблюдаемое различие при включении стратегических навыков: базовый уровень без запоминания выигрывает 3/10 игр, а добавление слоя навыков — 6/10. При таком размере выборки сравнение является скорее ориентировочным, чем статистически значимым (точный тест Фишера p ≈ 0,37); кросс-бэкбоновый зонд и публичные базовые показатели с накоплением контекста приводятся как эксплуатационные сравнения, а не как контролируемые проверки самой переменной контракта. Мы публикуем воспроизводимый тестовый стенд: 298 завершенных траекторий с тегами условий, замороженными снимками памяти/навыков, записями промптов и скриптами анализа — архитектура агента и валидированная, воспроизводимая методология для изучения того, как явные слои памяти формируют решения LLM-агентов с длинным горизонтом.

Автономные агенты всё чаще должны совершенствовать исполняемые политики на основе обратной связи, однако существующие методы оценки зачастую сводят этот процесс к итоговому баллу или смешивают его с прогрессом в открытых программно-инженерных задачах. Мы вводим понятие автономной эволюции политик — контролируемую среду оценки, в которой агент на основе модели-обвязки многократно редактирует систему исполняемых политик в рамках фиксированного бюджета взаимодействий. Мы реализуем эту среду в бенчмарке EvoPolicyGym, построенном на компактных интерактивных средах обучения с подкреплением, который оценивает, как агенты итеративно улучшают исследуемые политики. На наборе задач EvoPolicyGym модель GPT-5.5 достигает наивысшего совокупного рейтингового балла и попадает в топ-2 по всем 16 средам. Помимо результатов лидерборда, EvoPolicyGym предоставляет диагностику на уровне траекторий, позволяющую различить, как агенты распределяют бюджет и преобразуют обратную связь в параметрическую настройку. Данный анализ показывает, что успешная автономная эволюция политик зависит не только от изолированных побед в задачах, но и от обнаружения соответствующих задаче механизмов и уточнения политик в условиях ограниченной обратной связи.

Гибридные модели внимания повышают эффективность работы с длинными контекстами, сохраняя лишь часть слоёв полного внимания и заменяя остальные слои линейным вниманием. Однако эффективность преобразования «трансформер → гибрид» критически зависит от того, какие именно слои сохраняют полное внимание. Существующие методы выбора гибридных слоёв обычно опираются на эвристические стратегии, такие как фиксированные шаблоны размещения или поуровневые оценки, неявно трактуя важность слоя изолированно и игнорируя взаимозависимый эффект слоёв в рамках глобальной гибридной конфигурации. В данной работе мы формулируем задачу выбора гибридных слоёв как задачу оптимизации подмножества с ограничением на бюджет. Далее мы предлагаем FlashMorph (Fast LAyer Selection for Hybrid MORPHing) — эффективный, действенный и масштабируемый метод выбора слоёв для преобразования «трансформер → гибрид». FlashMorph сначала создаёт морфируемую модель, оснащая каждый слой полного внимания конвертированной ветвью линейного внимания. Затем он замораживает все веса модели и совместно оптимизирует поуровневые затворы на синтетических данных поиска по длинному контексту с регуляризацией линеаризации, поощряющей использование моделью линейного внимания для эффективности. Изученные затворы дискретизируются в рамках заданного бюджета полного внимания для построения гибридной архитектуры, после чего применяются стандартная дистилляция логитов и донастройка на длинных контекстах. Обширные эксперименты показывают, что FlashMorph находит более эффективные гибридные конфигурации, сохраняет высокое качество извлечения длинных контекстов и общую производительность на бенчмарках, при этом существенно снижая стоимость выбора слоёв по сравнению с существующими методами, что подтверждает его действенность, эффективность и масштабируемость.

Аппаратно-независимые стратегии ускорения диффузионных моделей генерации изображений по текстовому описанию, такие как дистилляция временных шагов и кэширование признаков, позволяют сократить время инференса без использования специализированных ядер или системной оптимизации. Среди них особое внимание в последнее время привлекли стратегии многомасштабной генерации, обеспечивающие более чем пятикратное ускорение без какого-либо обучения. Однако применение повышения разрешения в латентном пространстве вместе с выборочной модификацией отдельных областей приводит к заметному размытию или появлению артефактов у таких методов. В связи с этим мы предлагаем MrFlow – свободную от обучения многомасштабную стратегию ускорения для предварительно обученных моделей согласования потоков, построенную на поэтапном конвейере от низкого к высокому разрешению. MrFlow сначала быстро генерирует основную структуру при низком разрешении, затем выполняет суперразрешение в пространстве пикселей с помощью облегченной предварительно обученной модели на основе GAN, после чего вводит шум низкой интенсивности для ресемплинга высоких частот и, наконец, уточняет детали при высоком разрешении. Количественные и качественные результаты на моделях FLUX.1-dev и Qwen-Image показывают, что MrFlow использует квадратичное сокращение токенов и уменьшение требуемого количества шагов при низкоразрешающей выборке для достижения десятикратного сквозного ускорения, сохраняя при этом OneIG в пределах 1% от значений до ускорения, значительно превосходя другие стратегии ускорения, не требующие обучения, и не нуждаясь ни в обучении, ни в динамической идентификации во время выполнения. MrFlow также может быть напрямую ортогонально объединен с предварительно обученными стратегиями дистилляции временных шагов, обеспечивая еще более высокое ускорение генерации – до 25 раз.

Наука о данных направлена на извлечение практических выводов из разнородных необработанных данных, раскрывая ценность огромных объемов информации, генерируемой в современном обществе. Автоматизация этого процесса необходима для снижения трудоемких усилий специалистов по данным и обеспечения масштабируемых приложений, основанных на данных. В последнее время агенты данных на основе больших языковых моделей (LLM) стали перспективным решением для автоматизации рабочих процессов в науке о данных. Однако в данной области отсутствуют всеобъемлющие тестовые наборы (бенчмарки) для строгой оценки этих агентов в различных сценариях с высокой степенью детализации. Для устранения этого пробела мы предлагаем AgenticDataBench — комплексный бенчмарк, включающий реалистичные задачи из различных областей с детальными эталонными метками. Это позволяет проводить оценку, учитывающую разнообразие и сложность рабочих процессов в науке о данных, а также детальную производительность агентов. Во-первых, для охвата различных доменов мы собрали реальные наборы данных и задачи из 15 вертикальных областей, включая 5 реальных B2B-кейсов от ведущей fintech-компании. Во-вторых, чтобы устранить избыточность в реальных задачах и сгенерировать высококачественные задачи для доменов, где не хватает реальных данных, мы вводим понятие навыков науки о данных — повторяющихся шаблонов операций, ориентированных на данные, — и количественно оцениваем покрытие бенчмарка по числу включенных навыков. Репрезентативные навыки извлекаются из крупномасштабных решений задач на Stack Overflow с использованием иерархической кластеризации с выравниванием по навыкам. В-третьих, для реальных бизнес-задач мы отбираем пары «задача–решение», которые максимизируют разнообразие состава навыков, обеспечивая широкий охват практических сценариев. В-четвертых, для генерации реалистичных задач в выдуманных доменах, не имеющих реальных задач, мы предлагаем систематический подход к генерации задач на основе LLM, создавая рабочие процессы и задачи на основе этих навыков. Наконец, мы оцениваем современные агенты данных с помощью нашего аннотированного бенчмарка и выложенного в открытый доступ тестового стенда, предоставляя детальные выводы на уровне навыков.

Мы представляем WorldDirector — высококонтролируемую среду моделирования видео мира, разработанную для устойчивой памяти динамических объектов и неограниченного исследования точек обзора. В отличие от существующих моделей мира, которые связывают физическую динамику с рендерингом пикселей и полагаются на непрерывное визуальное наблюдение для поддержания движения, наша структура явно разделяет семантическое управление движением и визуальную генерацию. Используя LLM для координации 3D-траекторий с движениями камеры и последующего применения этих скоординированных траекторий в качестве управляющих сигналов для генерации видео, наш подход обеспечивает строгую физическую логику и стабильность внешнего вида, успешно сохраняя точные визуальные идентичности динамических сущностей, даже когда они повторно появляются в сцене после длительного отсутствия в поле зрения. Экспериментальные результаты показывают, что наш метод поддерживает синтез сложных и протяженных событий с беспрецедентной управляемостью и устойчивой памятью динамических объектов. Страница проекта: https://worlddirector.github.io/

Недавние мультимодальные большие языковые модели продемонстрировали большой потенциал в клиническом анализе изображений, однако существующие конвейеры пост-обучения остаются преимущественно ориентированными на результат, полагаясь на правильность конечного ответа или предпочтения на уровне последовательности. Это приводит к разреженному распределению кредита, что затрудняет оптимизацию процесса рассуждений, необходимого для клинических приложений. Наш анализ показывает, что каскадные ошибки, возникающие из-за сбоев на ранних этапах рассуждений, являются основной причиной неверных предсказаний в бенчмарках медицинского визуального вопросно-ответного анализа (VQA). Исходя из этого, мы предлагаем медицинскую оптимизацию политики с учетом рассуждений (MRPO) — алгоритм обучения с подкреплением, включающий пошаговые вознаграждения за процесс. В случае неверного конечного ответа MRPO назначает экспоненциально большие штрафы токенам на более ранних некорректных шагах рассуждений, разрывая каскады сбоев без ухудшения успешных путей. На трех базовых мультимодальных больших языковых моделях MRPO стабильно превосходит стандартный GRPO и недавний базовый метод обучения с подкреплением, а на Qwen3-VL-8B-Instruct даже превышает показатели значительно более крупных медицинских MLLM, таких как HuatuoGPT-Vision-34B, на 2,79 балла. Более того, MRPO снижает долю ранних сбоев в рассуждениях с 64,0% до 13,0%, что демонстрирует: целенаправленное смягчение каскадных сбоев улучшает как качество рассуждений, так и точность конечного ответа. Наш код доступен по адресу https://github.com/dmis-lab/MRPO.

Навыки становятся многоразовым операционным слоем для агентов на основе больших языковых моделей (LLM), кодирующим стандартные операционные процедуры (SOP), доменные правила, рабочие процессы инструментов, скрипты и процедуры валидации. В реалистичных репозиториях навыков перекрывающиеся навыки затрудняют надежное их использование. Успех финального верификатора является слишком грубой мерой как для оценки, так и для обучения, поскольку агент может пройти задачу методом проб и ошибок, выбирая навыки-отвлекатели, пропуская необходимые шаги, неправильно составляя рабочие процессы или опуская финальные проверки. Мы представляем SkillCoach — саморазвивающуюся рубричную структуру для оценки и улучшения использования навыков агентами. SkillCoach извлекает процессуальные рубрики, основанные на навыках, из реальных прогонов и оценивает траектории по четырем измерениям: выбор навыка, следование навыку, композиция навыков и рефлексия, основанная на навыках. Внешний верификатор сохраняется в качестве отдельного сигнала результата, что позволяет отличать качество процесса от случайного успеха задачи. Развитые рубрики далее служат супервизией процесса для отбора высококачественных обучающих траекторий. Эксперименты показывают, что развитые рубрики значительно улучшают качество оценки, выявляют сбои, скрытые за финальной точностью, и обеспечивают более сильные сигналы супервизии, чем фильтрация только по результату, для улучшения использования навыков агентами.

Традиционные стратегии обучения с подкреплением для визуальной генерации обычно используют поэлементные функции вознаграждения, однако такая практика часто приводит к взлому вознаграждения (reward hacking), что снижает разнообразие изображений и вызывает визуальные аномалии. Для устранения этих ограничений мы предлагаем новую структуру, которая донастраивает генеративные модели с использованием вознаграждений на уровне распределений, обеспечивая лучшее соответствие распределениям реальных данных. В отличие от вознаграждений, оценивающих образцы по отдельности, распределительное вознаграждение учитывает распределение данных образцов, смягчая проблему коллапса мод (mode collapse), которая возникает, когда все образцы оптимизируются независимо в одном направлении. Чтобы преодолеть запретительную вычислительную стоимость оценки таких вознаграждений, мы вводим стратегию замены подмножества, которая эффективно предоставляет сигналы вознаграждения путем обновления только небольшого подмножества сгенерированного эталонного набора. Кроме того, мы применяем RL для оптимизации последующих (post-hoc) коэффициентов слияния моделей, что потенциально смягчает несоответствие между обучением и выводом, вызванное введением стохастического дифференциального уравнения (SDE) в обычных практиках RL. Обширные эксперименты показывают, что наш подход значительно улучшает показатель FID-50K для различных базовых моделей: с 8.30 до 5.77 для SiT и с 3.74 до 3.52 для EDM2. Качественная оценка также подтверждает, что наш метод улучшает перцептивное качество, сохраняя при этом разнообразие образцов.

При использовании длинного контекста большие языковые модели часто синтезируют ответы на основе смысла релевантного фрагмента контекста, а не буквально копируют их. Идентификация голов внимания, выполняющих такой синтез, важна для интерпретации поведения модели в длинном контексте. Однако существующие детекторы по своей конструкции не обнаруживают такие головы: они поощряют головы, у которых attended-токен совпадает с сгенерированным токеном — это критерий буквального копирования, фиксирующий то, откуда голова считывает, но не то, что она записывает через свою цепь выходного значения (output-value, OV), которая как раз и отвечает за небуквальное извлечение. Мы предлагаем метод Logit-Contribution Scoring (LOCOS) — детектор, учитывающий запись, который оценивает каждую голову по проекции выхода её OV-цепи на направление развёртывания (unembedding) токена-ответа, сопоставляя позиции источника на игле и вне иглы за один прямой проход. На трёх семействах моделей (Qwen3, Gemma-3, OLMo-3.1) средняя абляция топ-голов LOCOS на тесте небуквального извлечения NoLiMa приводит к падению ROUGE-L при меньшем количестве голов по сравнению с предыдущими методами на основе внимания; на Qwen3-8B абляция 50 голов снижает ROUGE-L с 0,401 до 0,000, в то время как сильнейший базовый метод всё ещё сохраняет значение 0,292. Отобранные головы специфичны для извлечения: параметрическое воспроизведение и арифметические рассуждения остаются на исходном уровне при той же абляции. На Qwen3-8B та же абляция также снижает MuSiQue с 0,55 до 0,08 и BABI-Long с 0,62 до 0,20, в то время как контрольная группа со случайными головами отклоняется от исходного уровня не более чем на 0,05.

Выравнивание представлений стало эффективным способом ускорения обучения диффузионных трансформеров и повышения качества генерации. Недавние методы само-выравнивания, такие как SRA и Self-Flow, устраняют зависимость от внешних предобученных кодировщиков, организуя выравнивание внутри самой диффузионной модели. Однако механизм, лежащий в основе улучшения от SRA к Self-Flow, а именно двухвременное планирование, остается недостаточно изученным: Self-Flow объясняет свой прирост взаимодействием между токенами на разных уровнях шума, где более чистые токены помогают предсказывать более зашумленные. В данной работе мы пересматриваем это объяснение и задаемся вопросом, не обусловлен ли прирост, наоборот, аугментацией данных вдоль шумового измерения. Чтобы разделить эти факторы, мы вводим разделение внимания (Attention Separation), которое сохраняет тот же двухвременной вход, что и в Self-Flow, но блокирует внимание между токенами, отнесенными к разным уровням шума. Удивительно, но устранение такого взаимодействия не снижает производительность и может даже улучшить ее, что указывает на то, что улучшение от SRA к Self-Flow в основном связано с аугментацией данных. Кроме того, мы показываем, что само разделение внимания создает эффект аугментации, разбивая одно изображение на несколько эффективных учебных частей для расширения обучающих данных. Основываясь на этих наблюдениях, мы объединяем само-выравнивание представлений с двухвременным шагом и аугментацией на основе разделения внимания и демонстрируем эффективность данной схемы на ImageNet.

Распознавание вен является безопасной биометрической технологией, часто ограниченной небольшим объемом аннотированных данных и вариациями изображений. Хотя аугментация данных смягчает эту проблему, стратегии, разработанные для естественных изображений, могут нарушать мелкозернистую топологию и текстуры, важные для различения личности. Мы представляем AGVBench, который оценивает 30 репрезентативных стратегий аугментации на пяти общедоступных наборах данных вен ладони и пальцев с использованием семи базовых архитектур, включая классические сверточные нейронные сети, трансформеры зрения и специализированные модели распознавания вен. Наши результаты показывают, что методы смешивания нескольких изображений (например, MixUp, PuzzleMix, StarMixup) в целом обеспечивают наилучшую производительность распознавания. Однако они часто плохо калиброваны и уязвимы для состязательных возмущений, что выявляет явное несоответствие между точностью на чистых данных и устойчивостью к атакам. Мы также обнаружили, что сильные геометрические преобразования часто ухудшают распознавание, что потенциально связано с несовпадением признаков или пространственным обрезанием, и что эффективность аугментации варьируется в зависимости от наборов данных вен ладони и пальцев. Эти результаты доказывают, что оценки, ориентированной исключительно на точность, недостаточно для биометрической аугментации. AGVBench предоставляет стандартизированные протоколы для поддержки воспроизводимых исследований и разработки надежных, безопасных и устойчивых систем распознавания вен. Наш код доступен по адресу https://github.com/Advance-VeinTech-Innovators/AGVBench.

Методы контролируемой генерации изображений, такие как ControlNet, продемонстрировали замечательную способность вводить визуальные условия (например, карты глубины) для направления процесса генерации изображений. Однако эти методы часто испытывают трудности со сложными сценами, содержащими множество объектов, что нередко приводит к путанице атрибутов между ними. Хотя недавние подходы пытаются смягчить эту проблему с помощью ручной разметки объектов, такие требования являются трудоёмкими. В данной работе мы предлагаем InstanceControl — новый метод контролируемой генерации с множеством объектов, который устраняет необходимость в разметке объектов. Мы выявляем, что основное узкое место существующих методов заключается в неспособности точно сопоставить описания объектов с соответствующими областями в визуальных условиях. Для решения этой задачи мы используем визуально-языковую модель (VLM) для установления соответствий на уровне объектов между текстовыми подсказками и визуальными условиями. В частности, VLM автоматически извлекает описания объектов из текстовых подсказок и одновременно предсказывает маски объектов на основе визуальных условий. Кроме того, поскольку предсказанные маски могут содержать шум, мы вводим адаптивную стратегию уточнения масок, которая динамически корректирует эти маски объектов в процессе генерации. Обширные эксперименты показывают, что наш подход превосходит современные методы, достигая высокой точности воспроизведения и точного управления на уровне объектов.

Поисковые агенты на основе больших языковых моделей (LLM) все чаще используются для решения сложных задач информационного поиска, требующих многошагового извлечения и рассуждения для достижения целей пользователя. Однако существующие бенчмарки часто предполагают, что пользовательские запросы являются полными и явными, не учитывая тот факт, что реальные поисковые запросы зачастую расплывчаты, недостаточно конкретизированы или даже фактически неверны. В сценариях глубокого поиска такая неоднозначность может распространяться по многошаговым цепочкам рассуждений и приводить агентов к ошибочным поисковым траекториям. Для устранения этого пробела мы представляем DiscoBench — бенчмарк для глубокого поиска с осознанием необходимости уточнения, предназначенный для оценки способности поисковых агентов проактивно выявлять неоднозначность, задавать эффективные уточняющие вопросы и восстанавливать корректные пути рассуждения в ходе взаимодействия с пользователем. DiscoBench содержит 211 образцов и 463 случая неоднозначности из 11 реальных предметных областей, охватывающих четыре типа неоднозначности. Мы также разработали симулятор пользователя для многошагового взаимодействия и оцениваем производительность моделей с четырех точек зрения: полезность задачи, обнаружение неоднозначности, стратегия взаимодействия и экономическая эффективность. Эксперименты на репрезентативных LLM показывают, что обнаружение неоднозначности и эффективное уточнение представляют собой различные способности, а повторный поиск вместо запроса уточнения часто оказывается хуже прямого угадывания, что подчеркивает критический разрыв между способностью к поиску и интерактивным решением проблем в современных поисковых агентах.

Модели «зрение-язык» (Vision-Language Models, VLM) продемонстрировали огромный потенциал в задаче пространственно-временной привязки видео (Spatio-Temporal Video Grounding, STVG). Однако текущие протоколы оценки в значительной степени ограничены тестированием в режиме нулевого обучения (zero-shot) на общих, повседневных эталонах. Это создаёт критический разрыв с реальными приложениями в специализированных областях, где модели неизбежно сталкиваются с редкими визуальными концепциями и сложной пространственно-временной динамикой. Поскольку исчерпывающее предварительное обучение на бесконечных распределениях данных нецелесообразно, способность адаптироваться к новым доменам является необходимой. Для преодоления этого разрыва мы представляем AnyGroundBench — эталон для адаптации к доменам, предназначенный для смещения парадигмы оценки STVG от статического тестирования zero-shot к строгой доменной адаптации. Ориентируясь на пять специализированных доменов (животные, промышленность, спорт, хирургия и общественная безопасность), AnyGroundBench объединяет вновь записанные видео, такие как поведение мышей, аннотированное экспертами, с существующими наборами данных, унифицируя их с помощью плотных и высокоточных пространственно-временных аннотаций. Важно, что эталон предоставляет выделенные обучающие подмножества для систематического измерения адаптируемости к доменам. Мы провели обширную оценку 15 современных VLM, исследуя их способность к обобщению в режиме zero-shot и обучению в контексте (In-Context Learning, ICL) при практических вычислительных ограничениях. В итоге наши результаты показывают, что современные модели терпят неудачу как в нулевом обучении, так и в адаптации на основе ICL при столкновении со специализированными доменами, выявляя критические недостатки в пространственно-временном рассуждении, которые должны быть устранены в будущих исследованиях.

Экспертность в работе с памятью — это приобретаемый навык: умение понимать, что кодировать, когда извлекать информацию и как организовывать знания. В когнитивной науке эта способность известна как метапамять. Мы применяем данный подход к большим языковым моделям (LLM), рассматривая управление памятью как обучаемый навык. Мы переводим файловые операции в разряд полноправных действий с памятью наряду с действиями по выполнению задач, позволяя самой модели решать, как управлять своей памятью. Этот навык работы с памятью совершенствуется по двум направлениям: по структуре, которая его поддерживает (подсказки, схемы файлов, набор действий), и по уровню владения моделью, которая его применяет. Оба направления сопротивляются ручной оптимизации: эпизоды в долгосрочных задачах насчитывают тысячи шагов, а единственная ошибка в памяти может скрываться задолго до того, как проявится, что делает ручной просмотр полных траекторий непрактичным. Мы представляем AutoMem — фреймворк, который автоматизирует оба направления. В первом цикле сильная LLM проверяет полные траектории агента и итеративно пересматривает структуру памяти, определяющую то, как агент взаимодействует со своими файлами памяти. Во втором цикле удачные решения агента по управлению памятью выявляются из множества эпизодов и используются в качестве обучающего сигнала для прямого улучшения его навыков работы с памятью. В трех процедурно сгенерированных долгосрочных играх (Crafter, MiniHack и NetHack) оптимизация только памяти — без изменения поведения агента при выполнении задачи — улучшила производительность базового агента примерно в 2–4 раза, позволив открытой модели с 32B параметров конкурировать с передовыми системами, такими как Claude Opus 4.5 и Gemini 3.1 Pro Thinking. Наши результаты показывают, что управление памятью является независимо обучаемым навыком и высокоэффективной целью, обеспечивающей значительный прирост в долгосрочных задачах.

Оценка агентов LLM на таких бенчмарках, как SWE-Bench и GAIA, может быть дорогостоящей, трудоёмкой и требовать сложной инфраструктуры. Одна такая оценка может стоить тысячи долларов и занимать несколько дней. В отличие от этого, неагентные бенчмарки LLM, проверяющие отдельные способности (например, рассуждение, генерацию кода), выполняются быстро и дёшево. В данной работе мы исследуем, можно ли точно предсказать производительность на дорогостоящих агентных бенчмарках на основе результатов на небольшом, тщательно отобранном подмножестве атомарных оценочных экземпляров. Мы представляем PACE — фреймворк, который строит прокси-бенчмарки путём отбора экземпляров из существующих неагентных оценок, чьи совокупные баллы наиболее надёжно предсказывают производительность моделей на агентных бенчмарках. Из пула кандидатов-экземпляров, охватывающих атомарные способности, PACE подбирает регрессию, которая сопоставляет баллы модели на компактном подмножестве исходных экземпляров с её баллом на целевом агентном бенчмарке. Само подмножество формируется путём комбинации двух взаимодополняющих стратегий отбора экземпляров: локального отбора по релевантности цели и глобального отбора по информативности. Мы применяем PACE к 4 целевым агентным бенчмаркам, что даёт PACE-Bench — конкретный прокси-бенчмарк, оцениваемый в статье. Эксперименты на 14 моделях, 4 агентных бенчмарках и 19 неагентных бенчмарках показывают, что PACE-Bench предсказывает агентные баллы со средней абсолютной ошибкой (MAE) при скользящем контроле с исключением по одному (LOOCV) менее 4%, корреляцией Спирмена выше 0,80 и точностью попарного ранжирования моделей около 85%, при этом затраты составляют менее 1% от стоимости полной агентной оценки. Мы также анализируем отобранные прокси-экземпляры, выявляя, какие навыки требуются для каждого агентного бенчмарка. PACE позволяет практикам получать надёжные оценки агентной производительности при разработке, выборе и маршрутизации моделей, без накладных расходов на полную агентную оценку.

Мы раскрываем пространство дизайна Сопоставления распределений представлений (RDM) — нашей парадигмы, в которой одношаговый генератор изображений обучается путём согласования распределений признаков сгенерированных и эталонных данных в рамках замороженных предобученных кодировщиков. Мы выделяем две оси дизайна: как сравниваются распределения и в каких представлениях они сравниваются. Контролируемые исследования вдоль этих осей приводят к трём выводам. Во-первых, классический MMD, который десятилетие назад не мог обучить убедительные генераторы, становится сильной и масштабируемой целевой функцией при правильной оценке. Во-вторых, генерируемый батч становится действующей переменной с оптимумом выше 2048, что далеко за пределами обычных размеров батча. В-третьих, любое единственное представление может быть обыграно: его показатель оказывается ниже реального, в то время как изображения остаются видимо поддельными. Поэтому мы согласуем сбалансированный набор кодировщиков и оцениваем с помощью SW_r14 — расстояния Срезанного Вассерштейна по 14 кодировщикам, которое независимо от функции потерь обучения и устойчиво к обыгрыванию. Комбинирование предпочтительных вариантов даёт улучшенный RDM (iRDM): он устанавливает одношаговый уровень современного искусства на ImageNet с SW_r14 1.30, что подтверждается PickScore — прокси человеческих предпочтений, которое наша целевая функция никогда не оптимизирует, но которое предпочитает iRDM лучшему предыдущему одношаговому генератору на 71.2% согласованных выборок. Тот же рецепт дообучает четырёхшаговый FLUX.2 [klein] в одношаговый генератор, превосходя четырёхшаговую версию по GenEval (0.826 против 0.794) и PickScore (22.76 против 22.58) за 90 GPU-часов на H200. Страница проекта: https://alan-lanfeng.github.io/rdm/.

Модели Vision-Language-Action (VLA) фундаментально ограничены нехваткой экспертных демонстраций — троек наблюдений, инструкций и действий, сбор которых в больших масштабах требует значительных затрат. Мы утверждаем, что это узкое место проистекает из смешения двух различных целей обучения: приобретения физической компетенции (как двигаться) и приобретения семантического согласования (что делать). Ключевой момент заключается в том, что только вторая цель требует языкового сопровождения. Основываясь на этой Гипотезе Декомпозиции, мы предлагаем Задачно-Агностическое Предобучение (TAP) — двухэтапную структуру, которая сначала изучает переносимые моторные приоры из дешевых, неразмеченных данных взаимодействия, включая отброшенные внезадачные траектории и автономную игру робота, с помощью самообучаемой цели обратной динамики. Легковесный второй этап затем привязывает эти приоры к языку, используя минимальные экспертные данные. На эталоне SIMPLER модель TAP сопоставима с моделями, обученными на более чем 1 миллионе экспертных траекторий, при использовании на порядки меньшего количества размеченных данных, что дает абсолютный прирост в 10% по сравнению со стандартным клонированием поведения. На реальной платформе WidowX модель TAP сохраняет 25% успешности при возмущениях камеры, где базовые модели интернет-масштаба падают до 0%, демонстрируя, что задачно-агностическое предобучение создает устойчивые, переносимые физические представления и предлагает масштабируемый путь для воплощенного ИИ.

Непрерывное пост-обучение позволяет базовым моделям усваивать новые знания, сохраняя при этом существующие способности. Недавние работы показывают, что обучение на политике (on-policy learning) может смягчить забывание, причём самодистилляция на политике (on-policy self-distillation) становится особенно привлекательным подходом. В данной работе мы пересматриваем этот оптимистичный взгляд на примере оптимизации политики с самодистилляцией (self-distillation policy optimization, SDPO). Наши эксперименты демонстрируют, что SDPO может ускорять специализацию в рамках домена, когда сигналы учителя стабильны и хорошо согласованы, однако этот метод плохо обобщается на сценарии вне распределения. В условиях непрерывного пост-обучения SDPO проявляет более сильное забывание и может даже коллапсировать, тогда как методы обучения на политике, основанные на подкреплении, такие как GRPO, адаптируются более консервативно и лучше сохраняют ранее приобретённые способности. Дальнейший анализ показывает, что более плотная самодистилляция вызывает больший дрейф как в пространстве параметров, так и в пространстве ответов, и может усиливать высокочастотные артефакты форматирования через самоподкрепляющийся цикл «учитель–ученик». Эти результаты указывают на то, что одних данных, собранных на политике, недостаточно для непрерывного обучения. Плотная самодистилляция может ускорять специализацию при стабильных целевых сигналах учителя и надёжном пословном контроле, но её не следует рассматривать как универсальный стабилизатор для непрерывного пост-обучения. Наш код доступен по адресу: https://github.com/Moenupa/SDPO-CL.

Диффузионные языковые модели, генерирующие текст путём двунаправленного устранения шума на токеновом холсте, а не эмиссии токенов слева направо, стали конкурентоспособными с авторегрессивной (АР) генерацией. Однако фундаментальные медицинские модели остаются почти полностью авторегрессивными. Мы адаптировали диффузионную языковую модель на основе смеси экспертов, DiffusionGemma-26B, и сравнили её с её АР-аналогом того же размера, Gemma-4-26B, в одинаковом рецепте LoRA на наборах данных визуального ответа на вопросы в медицине, оценивая с помощью устойчивого к многословию судьи на основе LLM. Диффузионная модель достигает паритета с АР или превосходит его на всех наборах данных, а дообученная модель (с 3,8 млрд активных параметров) конкурентоспособна с передовыми моделями зрения-языка; её декодирование также в 3,5–4,4 раза быстрее. Помимо этого паритета, диффузионная модель предлагает возможность черновой генерации, отсутствующую у АР: заполнение в произвольном порядке. Поскольку холст обрабатывается двунаправленно, радиолог может зафиксировать фрагменты отчёта, а модель заполнит текст между ними — операция, присущая диффузии, но не авторегрессии, которая справляется с этим плохо. Это соответствует реальным отчётам, которые часто лаконичны или несогласованны между клиниками и учреждениями.

Фундаментальные модели регулярно публикуются для широкого доступа, однако рецепты данных, используемые для их обучения — например, веса смеси доменов, определяющие, как выбираются различные источники, — редко раскрываются. Это создает асимметрию доступа: исследователи изучают результирующие модели, но не имеют представления о распределении обучающих данных, которое их порождает. Предыдущие работы по инференсу принадлежности к обучающей выборке, такие как membership inference, обнаруживают данные на уровне отдельных примеров и поэтому не могут охарактеризовать глобальный состав обучающего корпуса. Мы представляем WARP — фреймворк, который восстанавливает обучающие смеси точно настроенной модели непосредственно из ее опубликованных весов. WARP интерполирует между базовой и точно настроенной моделями с помощью слияния моделей, генерируя псевдо-контрольные точки, которые аппроксимируют отсутствующую траекторию обучения и выявляют геометрический след обучающих данных в пространстве весов. На основе этих смоделированных следов WARP извлекает геометрические признаки и отображает их в пропорции доменов, используя либо беcпараметрическое softmax-считывание, либо MLP-проектор, обученный на синтетических смесях. В контролируемых экспериментах с BERT и GPT-2 WARP восстанавливает смеси доменов со средней абсолютной ошибкой (MAE) до 0,046 и 0,104 соответственно, превосходя метод membership inference и его вариант с доступом к истинной траектории обучения.

Агенты на основе больших языковых моделей (БЯМ) способны решать сложные процедурные задачи, взаимодействуя со средой в течение нескольких раундов, однако эта способность обычно зависит от больших моделей, длинных контекстов и многократных вызовов логического вывода. Это затрудняет развертывание продвинутых агентов с дополненной памятью на устройствах с ограниченными ресурсами. Мы представляем DuoMem — фреймворк двухпространственной дистилляции, который переносит способность решать процедурные задачи от большой модели-учителя к компактным моделям-ученикам. DuoMem выполняет дистилляцию в двух взаимодополняющих пространствах: (1) дистилляция в пространстве контекста, при которой воспоминания, сгенерированные учеником, заменяются более качественными процедурными воспоминаниями, созданными учителем и добавляемыми в начало входных данных ученика; и (2) дистилляция в пространстве параметров, при которой на успешных траекториях учителя выполняется тонкая настройка легковесных адаптеров LoRA. При оценке на ALFWorld, сложном бенчмарке для воплощенного принятия решений, DuoMem повышает частоту успешного выполнения задач модели с 4 млрд параметров с 4,3% до 77,9%, сокращая большую часть разрыва с моделью-учителем на 72 млрд параметров (87,1%), при этом добавляя менее 10 млн обучаемых параметров и всего несколько мегабайт предварительно вычисленных воспоминаний учителя. Кроме того, улучшенная с помощью DuoMem модель на 4 млрд параметров выполняет задачи более чем в 3 раза быстрее учителя на 72 млрд параметров по астрономическому времени, что делает её пригодной для развертывания на периферии в реальном времени — задача, которая была бы затруднительна для учителя. Обширные абляции на восьми моделях в диапазоне от 2 до 72 млрд параметров показывают, что оба направления дистилляции вносят взаимодополняющий вклад.

Обучение с подкреплением с верифицируемыми вознаграждениями (RLVR) расширено с однодоменного обучения до многодоменных наборов для рассуждений, охватывающих математику, программирование и естественные науки. Однако учебный план (частота выборки каждого домена) обычно фиксирован или настраивается вручную, даже несмотря на то, что навыки рассуждения неравномерно передаются между доменами. Существующие учебные планы, основанные на обучаемости, адаптируются к тому, в каких доменах политика в данный момент улучшается, но не учитывают, приносит ли градиентный шаг по выбранному домену пользу остальным доменам. В этой статье мы предлагаем Transfer-Aware Curriculum (TAC) — онлайн-учебный план в стиле бандита, который отдаёт приоритет доменам, чьи обновления широко благоприятствуют остальной части обучающего набора. TAC повторно использует сигналы, уже получаемые в процессе RL-обучения: преимущества по доменам отражают локальную обучаемость, а проецированные градиенты, взятые из шага GRPO, оценивают кросс-доменную переносимость через согласование геометрии градиентов с минимальными затратами (<1% накладных расходов по времени). На шестидоменном наборе для рассуждений TAC достигает наилучшей макро-усреднённой точности как на Qwen3-1.7B, так и на Llama3.2-3B, превосходя пропорциональную случайную выборку, ручной план и бандит, основанный только на обучаемости, при этом улучшая последний на величину до 2,8 пункта (10% относительного улучшения). Абляционные эксперименты показывают, что производительность резко падает при удалении компонента переносимости, и TAC остаётся надёжным на несбалансированных обучающих смесях, где планы, основанные только на обучаемости, чрезмерно сосредотачиваются на доминирующих доменах. Наши результаты устанавливают кросс-доменную переносимость как ключевой сигнал для разработки учебных планов в многодоменном RLVR.

Матрицы трафика (ТМ) отражают общесетевой спрос между узлами отправления и назначения и являются центральным элементом проектирования трафика, однако точное прогнозирование всей матрицы остается сложной задачей, когда предсказание должно выполняться с учетом ограничений по памяти, обновлению и бюджету обучения, свойственных онлайн-управлению сетью. В данной работе исследуется, могут ли компактные квантово-вдохновленные рекуррентные модели обеспечивать эффективное прогнозирование ТМ, не полагаясь на специализированные модули графов, трансформеров или диффузии. Мы адаптируем программистов быстрых весов на основе квантово-вдохновленной сети Колмогорова–Арнольда с затворами (QKAN-FWP) для прямого многошагового прогнозирования матрицы трафика сети Abilene, где каждая модель предсказывает следующие 20 пятиминутных кадров 144-канальной матрицы отправления–назначения (OD) на основе двухчасовой истории. Мы сравниваем три варианта размещения QKAN с сетью долгой краткосрочной памяти (LSTM) сопоставимого размера, более крупной LSTM и классическим программистом быстрых весов с затворами в рамках общего протокола обучения с фиксированным бюджетом. Среди оцененных рекуррентных моделей G-QKANFWP достигает наилучшей объединенной среднеквадратической ошибки (RMSE), используя при этом только 22,4% от объема более крупной LSTM. Она также превосходит как LSTM сопоставимого размера, так и классический базовый метод G-FWP, что указывает на то, что выигрыш не обусловлен одной лишь структурой быстрых весов с затворами. Анализ сходимости и поканальный анализ дополнительно показывают, что квантово-вдохновленные варианты достигают меньшей площади под кривой обучения функции потерь на валидации (AULC) по сравнению с рекуррентными базовыми методами сопоставимого размера, в то время как G-QKANFWP и GQKAN-FWP добиваются существенно большего числа выигрышей по каналам OD. Эти результаты указывают на комбинацию классического медленного программиста с квантово-вдохновленным быстрым программистом как на перспективную конструкцию, обеспечивающую точность и эффективность прогнозирования матриц сетевого трафика в условиях ограниченных ресурсов.

Подходы на основе решеток к поиску приблизительного ближайшего соседа (ANN) отсутствовали в современных анализах масштабирования. Мы представляем систематическую характеристику многозондового решетчатого алгоритма в зависимости от размера набора данных N и размерности d. Наши эксперименты выявляют ранее не описанный кроссовер по масштабированию размерности на семействе эмбеддингов GloVe, при котором многозондовый решетчатый поиск сохраняет приблизительно постоянный показатель масштабирования по размерности, в то время как другие методы на основе графов, деревьев и разбиений демонстрируют ухудшающуюся пропускную способность. Преимущество заключается в почти линейном масштабировании запросов по N, а также в более низкой стоимости индексации по сравнению с конкурирующими методами ANN. Наши результаты показывают, что методы на основе решеток, такие как многозондовый решетчатый, могут быть конкурентоспособными в условиях интенсивного перестроения или высокой размерности, где стоимость индексации и устойчивость к размерности определяют производительность. В более широком смысле, недавние работы формализовали самовнимание как операцию ANN. Таким образом, свойства масштабирования по N и d алгоритмов ANN могут направлять анализ стоимости эффективных архитектур трансформеров. Код доступен по адресу: https://github.com/weiz345/MultiProbeANN.