Ежедневные статьи

Ожидается, что LLM-агенты будут действовать в течение нескольких шагов, используя поиск, интерфейсы браузера и терминальные инструменты для достижения целей пользователя. Однако не всякая цель четко определена или достижима в доступной среде. В таких случаях надежный агент должен осознавать, что дальнейшее взаимодействие вряд ли поможет, и воздерживаться от дополнительных вызовов инструментов. Мы определяем проблему *агентского воздержания* (Agentic Abstention) — принятия решения о том, когда агенту следует прекратить действовать в условиях неопределенности. В отличие от стандартного воздержания LLM (которое обычно оценивается как одномоментное решение «ответить или воздержаться»), агентское воздержание представляет собой проблему последовательного принятия решений: на каждом шаге агент может ответить, воздержаться или собрать дополнительную информацию, а необходимость воздержания может стать очевидной только после взаимодействия со средой. Мы изучаем эту проблему в контексте веб-шопинга, терминальных сред и ответов на вопросы, оценивая 13 систем LLM-as-agent и 2 агентских каркаса (scaffolds) на более чем 28 000 задачах. Наши результаты показывают, что основная сложность заключается не только в способности агента воздерживаться, но и в том, *когда* он это делает. Одни агенты никогда не воздерживаются, когда это необходимо, другие — только после множества ненужных взаимодействий. Этот разрыв особенно велик в задачах, где инструкция кажется выполнимой, пока среда не покажет обратное (например, нет валидного результата, соответствующего инструкции). Мы также обнаружили, что масштаб модели, наличие рассуждений и каркас агента влияют на воздержание по-разному: более крупные или более способные модели иногда хуже справляются со своевременным воздержанием. Наконец, мы представляем CONVOLVE — метод контекстной инженерии для улучшения агентского воздержания, который дистиллирует полные траектории взаимодействия в повторно используемые правила остановки. В среде WebShop CONVOLVE существенно улучшает своевременное воздержание без обновления параметров модели, повышая показатель своевременной полноты (timely recall rate) для Llama-3.3-70B с 26,7 до 57,4. Наш набор данных и код доступны по адресу https://lhannnn.github.io/agentic-abstention.

Потоковое редактирование видео достигло быстрого прогресса, однако практическое применение по-прежнему ограничено двумя ключевыми проблемами: поддержанием стабильности фонов и нередактируемых областей с течением времени, а также достижением низкой задержки, необходимой для сценариев интерактивного взаимодействия в реальном времени. Между тем, современные методы потоковой генерации видео в основном ориентированы на синтез и не могут быть напрямую применены к редактированию из-за строгих требований к сохранению содержимого и управления конкретными областями. В данной работе мы представляем новую среду потокового редактирования видео, которая выполняет каузальное покадровое редактирование с высокой степенью сохранения содержимого и откликом в реальном времени. Ключевым элементом нашей разработки является трёхступенчатый конвейер дистилляции, который последовательно переносит возможности редактирования от мощной двунаправленной базовой модели к эффективному однонаправленному потоковому редактору, обеспечивая стабильное редактирование на длительных временных горизонтах без потери визуального качества. Для дополнительной поддержки развёртывания в реальном времени мы вводим AR-ориентированный кэш масок, который повторно использует вычисления, связанные с областями, между кадрами, существенно сокращая избыточную обработку и ускоряя вывод. Наконец, мы создаём специализированный эталонный тест для потокового редактирования видео. Обширные оценки показывают, что наш метод достигает передового визуального качества среди потоковых базовых методов, одновременно значительно увеличивая скорость вывода до 12,66 FPS, что делает его пригодным для интерактивных приложений и приложений дополненной реальности.

我们提出Agents-A1——一个35B参数的混合专家智能体模型，通过扩展智能体视野达到万亿参数级别的性能。我们从两个维度研究智能体视野扩展：长视野轨迹的扩展与异构智能体能力的扩展。为实现这一目标，我们构建了长视野知识-行动基础设施，将外部知识、行动、观测与验证器结果相连接，生成平均长度为45K tokens的智能体轨迹。在此基础上，我们采用三阶段方案训练Agents-A1：首先开展全领域有监督微调，使基础模型适应广泛的智能体行为；其次训练领域级教师模型以捕捉各领域的专业专长；最后提出一种多教师领域路由在线蒸馏方法，结合显著词汇对齐技术，提升跨领域知识迁移效率，将六个异构领域统一整合至一个可部署的学生模型。Agents-A1在长视野智能体基准测试中展现出强大而广泛的性能。与万亿参数模型（如Kimi-K2.6和DeepSeek-V4-pro）相比，Agents-A1在SEAL-0（56.4）、IFBench（80.6）、HiPhO（46.4）、FrontierScience-Olympiad（79.0）和MolBench-Bind（56.8）上取得领先结果，同时在SciCode（44.3）、HLE（47.6）和BrowseComp（75.5）上保持高度竞争力。我们希望这项工作为社区提供一条切实可行的路径，通过35B参数智能体在长视野任务上达到或匹敌万亿参数模型的性能。

По мере того как большие языковые модели и каркасные фреймворки продолжают развиваться, агенты, работающие в терминалах, становятся все более способными выполнять более широкий спектр общих задач по использованию компьютера, выходящих за рамки программирования. Однако существующие бенчмарки неадекватно оценивают универсальных терминальных агентов (TUAs): бенчмарки общего назначения в первую очередь нацелены на графические пользовательские интерфейсы (GUI), тогда как терминальные бенчмарки в основном делают упор на технические и программо-ориентированные рабочие процессы, исторически присущие оболочке. Мы представляем TUA-Bench, универсальный бенчмарк для терминальных агентов. TUA-Bench включает 120 реальных задач из пяти семейств, охватывающих рутинные цифровые действия — редактирование документов, управление электронной почтой и поиск информации в живом вебе — а также научные и инженерные рабочие процессы, разработанные совместно с экспертами уровня PhD, требующие специализированного программного обеспечения. Такая широта отличает TUA-Bench от предыдущих бенчмарков, ориентированных на оболочку или предметную область. Каждая задача разработана вручную, выполняется в реальном терминале с детерминированным скриптом настройки и оценивается по протоколу подсчёта баллов на основе выполнения. Мы обнаружили, что самый сильный передовой агент, Claude Code с максимальным усилием рассуждения Claude Opus 4.8, достигает 65,8% общей производительности, при этом наблюдаются существенные разрывы по обоим трекам. Предоставляя широкую и реалистичную оценку возможностей работы в терминалах, TUA-Bench стремится ускорить переход от узких, специализированных ассистентов к универсальным агентам, способным надежно работать в разнообразных цифровых средах.

Для снижения потребления памяти при инференсе больших языковых моделей (LLM) был предложен ряд методов сокращения KV-кэша. Хотя эти техники позволяют достичь безошибочного уменьшения памяти на многих наборах данных, они часто опираются на неявно выраженное условие: для достижения оптимальной производительности необходимо заранее определить пороговое значение, зависящее от входных данных, для бюджета KV-кэша. Однако такой чувствительный к входным данным подход может быть существенно ограничен в реальных сценариях, поскольку входные данные из открытых доменов охватывают разнообразные области, длины и уровни сложности без четких границ для выбора порога. В результате зависимость от такого чувствительного к входным данным порога может стать фундаментальным ограничением, вызывающим значительное ухудшение производительности на произвольных входных данных. В данной работе мы предлагаем новую цель, которая снимает ограничения, связанные с порогами, для надежного сжатия KV-кэша, выступая за "беспороговые" методы, которые адаптивно распределяют бюджет, сохраняя производительность полного кэша. Затем мы предлагаем новый метод, ReFreeKV, служащий первой реализацией этой цели. Обширные эксперименты на 13 наборах данных с различной длиной контекста, типами задач и размерами моделей демонстрируют его эффективность и результативность. Наш код опубликован по адресу https://github.com/Patrick-Ni/ReFreeKV.

Фундаментальные модели для предсказательного машинного обучения на табличных данных в последнее время привлекли значительное внимание в академической среде и промышленности. Исследовательские сообщества из разных дисциплин все чаще оценивают табличные фундаментальные модели на разнообразных наборах данных и задачах. Однако такие оценки, специфичные для задач и дисциплин, остаются в значительной степени недоступными для исследователей моделей, поскольку программное обеспечение для бенчмаркинга и протоколы оценки фрагментированы. В результате исследователи моделей полагаются на стандартные бенчмарки, которые в основном определены для задач, где табличные фундаментальные модели уже преуспевают. Наиболее сложные сценарии исключаются, что ограничивает значимый прогресс в этой области, фокусируясь на незначительных улучшениях на IID-данных, а не на более широких и трудных задачах. Чтобы преодолеть это, мы представляем BeyondArena — первый унифицированный целостный бенчмарк для табличных данных, который поддерживает различные типы задач (IID, временные, групповые), в масштабах размера выборки и размерности признаков, с разнообразными типами признаков (с текстом, с высокой кардинальностью) из широкого круга дисциплин. Чтобы обеспечить унифицированное бенчмаркирование за пределами стандартных эталонов, мы представляем Data Foundry — фреймворк на Python и схему метаданных для курирования табличных наборов данных для предсказательного машинного обучения. Наши результаты по 11 моделям и 142 курированным наборам данных показывают, что существующие табличные фундаментальные модели преуспевают на небольших и средних IID-данных, в то время как традиционные модели на основе деревьев и глубокого обучения по-прежнему доминируют на не-IID, больших и многомерных наборах данных. BeyondArena направляет исследования моделей на самые сложные задачи в табличных данных, способствуя прогрессу в сторону по-настоящему фундаментальных табличных моделей.

Физические взаимодействия следуют распределению с длинным хвостом: набор общих и регулярных взаимодействий доминирует в человеческом опыте и визуальных данных, в то время как широкий спектр редких и нерегулярных взаимодействий остается недостаточно представленным. Хотя современные визуальные модели мира, включая модели генерации изображений и видео, достигают впечатляющего реализма на существующих эталонах, они в первую очередь ориентированы на моделирование обычных физических взаимодействий. Это поднимает центральный вопрос: усваивают ли и обобщают ли современные визуальные модели мира физические принципы? В данной работе мы представляем Tailor-Bench — эталон, ставящий перед моделями мира задачу моделирования нерегулярных физических взаимодействий. Для обеспечения систематической оценки мы разработали три режима сценариев, которые последовательно усложняют рассуждения модели: Обычные сценарии отражают распространенные пары «инструмент—задача», Нетрадиционные сценарии заменяют стандартные инструменты совместимыми по свойствам заменителями для проверки обобщения аффордансов, а Невозможные сценарии вводят инструменты, нарушающие свойства, для изучения осознания ограничений. Дополнительно мы разработали два взаимодополняющих режима в рамках единого протокола оценки: прогнозирующая генерация требует вывода результатов без руководства, тогда как описательная генерация задает целевой результат для его точного воспроизведения. Результаты наших экспериментов выявляют явный разрыв длинного хвоста в моделировании физического мира: производительность снижается от Обычных к Нетрадиционным и Невозможным сценариям, что указывает на ограниченное обобщение за пределами распространенных взаимодействий. Дальнейший анализ ошибок показывает, что модели опираются на поверхностные визуальные паттерны: модели изображений не могут реализовать корректные изменения состояния, а модели видео дополнительно страдают от временных несоответствий.

Недавний интерес к мультимодальным большим языковым моделям (MLLMs) поднимает центральный вопрос: способны ли они рассуждать на основе динамических визуальных свидетельств, а не просто распознавать объекты или события на отдельных кадрах? Эта способность, которую мы называем видеовременным логическим рассуждением, требует от моделей поддерживать, обновлять и объединять свидетельства по мере эволюции визуальных состояний между кадрами. Существующие видеобенчмарки часто смешивают эту способность со сложностью сцены, статическим распознаванием или неконтролируемой временной вариативностью. Чтобы изолировать эту способность, мы представляем Video-MME-Logical — контролируемый бенчмарк, организованный вокруг пяти временно-логических операций: отслеживание состояний, последовательный подсчет, временное упорядочивание, динамическая пространственность и структурная композиция. Бенчмарк содержит 25 тонко детализированных категорий задач, генерируемых с контролируемыми состояниями объектов, переходами, временными зависимостями и логическими композициями. Он позволяет проводить оценку финального ответа с контролируемой сложностью путем варьирования временного горизонта и сложности рассуждения, а также поддерживает диагностику промежуточных состояний, проверяя, восстанавливают ли модели требуемую логическую цепочку рассуждения перед выдачей финального ответа. Эксперименты с передовыми MLLM выявляют существенный разрыв между человеком и моделью, особенно по мере увеличения временно-логической сложности. Контролируемая донастройка на до 500 тыс. сгенерированных примеров улучшает производительность, но остается недостаточной для устранения разрыва в рассуждении, позиционируя Video-MME-Logical как масштабируемый испытательный стенд для анализа и улучшения временно-логического рассуждения в MLLM.

Дистилляция на политике (On-Policy Distillation, OPD) обучает студента на его собственных розыгрышах, направляемых обратной связью от учителя, и приобретает всё большее значение для пост-тренировки больших языковых моделей (Large Language Models, LLM). Как и в случае обучения с подкреплением (Reinforcement Learning, RL), OPD сталкивается с системным узким местом, присущим обучению на политике: для задач рассуждений розыгрыши могут доминировать во времени тренировки. Асинхронные конвейеры обучения могут ослабить это узкое место, отделяя генерацию розыгрышей от обновлений обучающегося, однако такое разделение вносит устаревшие данные политики. Хотя в предыдущих работах изучались устаревшие данные при асинхронном RL, их влияние на OPD остаётся малоизученным. Мы представляем первое систематическое исследование устаревания в асинхронной OPD, сосредоточившись на практическом сценарии, где обратная связь от учителя реализуется через локальные потери KL, а логиты учителя по всему словарю слишком дороги для хранения или передачи, что требует использования конечных кэшей оценок учителя. Сначала мы показываем, что направление KL изменяет проблему устаревших данных: прямое KL с весами учителя (teacher-weighted forward KL) более устойчиво к устаревшим розыгрышам, в то время как обратное KL с весами студента (student-weighted reverse KL) уязвимо. Во-вторых, для этого уязвимого случая обратного KL мы изучаем, могут ли методы, предназначенные для стабилизации асинхронного RL, смягчить устаревание в OPD. В наших экспериментах они не превосходят более простой суррогат, специфичный для OPD: пересчёт сигнала обратного KL при текущем студенте в момент обучения. В-третьих, мы анализируем, как конечные кэши оценок учителя создают компромисс между смещением и дисперсией для разреженных и семплированных оценщиков обратного KL в OPD. Это мотивирует использование многосэмплового метода Монте-Карло (Multi-Sample Monte Carlo, MC), который сохраняет корректируемость MC при снижении дисперсии одного сэмпла. Наконец, мы представляем и публикуем в открытом доступе AsyncOPD — полностью асинхронный конвейер обучения OPD, построенный на основе выбранных оценщиков. Эксперименты показывают, что AsyncOPD повышает пропускную способность обучения в 1,6–3,8 раза по сравнению со строго синхронным обучением, достигая при этом сопоставимой точности.

Понимание видео является фундаментальной способностью мультимодального интеллекта, и недавние мультимодальные большие языковые модели (МБЯМ) достигли впечатляющих результатов в решении задач видео-вопрос-ответ (VideoQA). Однако существующие бенчмарки в основном оценивают, способны ли модели воспринимать поверхностные визуальные подсказки, и редко проверяют, могут ли МБЯМ извлекать более глубокие знания или процедурные навыки из видеоуроков и обобщать их для последующих долгосрочных агентных задач. Для заполнения этого пробела мы представляем VG-GUIBench (Video-Guided GUI Benchmark) — новый бенчмарк, предназначенный для оценки того, могут ли GUI-агенты на основе МБЯМ следовать видеоурокам и выполнять соответствующие интерактивные задачи GUI. Кроме того, мы наблюдаем, что производительность моделей как в VideoQA, так и в задачах агентов, управляемых видео, критически зависит от эффективного извлечения ключевых кадров. На основе этого наблюдения мы предлагаем TASKER (Task-driven And Scene-aware Keyframe searchER) — алгоритм извлечения ключевых кадров, который совместно учитывает релевантность задачи и динамику сцены для выявления информативных кадров. Экспериментальные результаты показывают, что TASKER достигает значительного улучшения производительности как в VideoQA, так и в бенчмарках задач агентов, управляемых видео, превосходя лучший базовый метод на 2,0% на полном наборе EgoSchema и на 1,8% на наборе данных NExT-QA соответственно. Эти результаты дополнительно подчеркивают потенциал обобщенных методов извлечения ключевых кадров для задач понимания видео. Наш код и данные доступны по адресу https://github.com/VG-GUI-TASKER/VG-GUI-TASKER.

Современное крупномасштабное предобучение LLM выигрывает от использования конвейерного параллелизма; однако синхронные реализации оставляют GPU простаивающими во время пузырей конвейера, что приводит к неэффективному расходованию вычислительных ресурсов. Асинхронный конвейерный параллелизм устраняет эти пузыри, максимизируя пропускную способность ценой устаревания градиентов. Среди асинхронных графиков PipeDream-2BW особенно привлекателен: в отличие от исходного графика PipeDream, он обеспечивает постоянную задержку градиента на один шаг независимо от глубины конвейера. Однако его внедрение остается ограниченным из-за распространенного убеждения, что оптимизация в условиях устаревания принципиально нестабильна. В данной работе мы оспариваем это предположение, демонстрируя, что ухудшение производительности при задержке на один шаг сильно зависит от выбора оптимизатора, а не является внутренним ограничением. Мы представляем первый всесторонний эмпирический анализ, показывающий, что в то время как AdamW — преобладающий оптимизатор на момент появления PipeDream-2BW — действительно страдает от серьезной деградации, современные методы, такие как Muon, проявляют высокую устойчивость к задержке на один шаг. Мы вводим коррекцию, вдохновленную обратной связью по ошибкам (Error Feedback), не зависящую от оптимизатора, для дальнейшего смягчения эффектов задержки. Мы приводим подтверждающий теоретический анализ, демонстрирующий сходимость для Muon как с этой коррекцией, так и без нее. Обширная оценка на моделях размером до 10 миллиардов параметров подтверждает, что наши стратегии устраняют разрыв в производительности с синхронным обучением, подчеркивая практический потенциал асинхронного конвейерного параллелизма в масштабе.

Различные приложения для обработки речи в реальном времени предъявляют различные требования к задержкам, что часто требует отдельно обученных моделей улучшения для каждого сценария. В данной статье мы предлагаем универсальную модель улучшения речи в реальном времени «один за всех», обеспечивающую явный контроль как алгоритмической, так и вычислительной задержки. Алгоритмическая задержка гибко регулируется с помощью настраиваемых кадров упреждения. Чтобы избежать неэффективности обучения, вызванной изменением конфигурации дополнения, мы вводим параллельные сверточные слои, соответствующие различным настройкам упреждения. Вычислительная задержка контролируется через механизм раннего выхода, что позволяет выполнять логический вывод на различных глубинах сети. Для сокращения разрыва в производительности между специализированными и гибкими моделями мы предлагаем двухэтапную стратегию обучения с переходом от общего декодера к нескольким. В целом, предложенная архитектура позволяет развертывать единую модель при различных бюджетах задержки без повторного обучения отдельных моделей.

Недавние достижения в области 3D-гауссова всплескового представления продемонстрировали беспрецедентный успех в синтезе новых видов. Однако значительные накладные расходы при выводе и хранении, обусловленные сферическими гармониками (СГ) высокого порядка, являются основными узкими местами для мобильных платформ. В этой статье мы представляем Flux-GS — метод реального времени на основе гауссова всплескового представления, предназначенный для достижения рендеринга высокого качества со значительно сниженными накладными расходами для мобильных платформ с ограниченными ресурсами. Сначала мы предлагаем агрегатор энергии зеркального отражения Монте-Карло, который производит выборку остаточных величин яркости третьего порядка и агрегирует энергию зеркального отражения в компактное скрытое пространство. Таким образом, наш метод эффективно сохраняет визуально значимые особенности освещения в полосах низкого порядка без дорогостоящей дистилляции или предварительного обучения. Чтобы смягчить потерю высокочастотных деталей при сжатии, мы вводим модуль улучшения СГ, обусловленный атрибутами. Этот модуль предсказывает смещения, учитывающие гауссианы, на основе внутренних атрибутов гауссианов, которые улучшают представление СГ первого порядка перед выводом без дополнительных затрат на вывод. Кроме того, исходное уплотнение на основе градиента с одним видом склонно к созданию избыточных гауссианов и переобучению на определенном виде. Мы решаем эти ограничения, предлагая стратегию многовидового уплотнения и прореживания на основе альфа. Используя многовидовое руководство, мы обеспечиваем согласованность структуры по множеству видов и точное удаление избыточных примитивов. Обширные эксперименты показывают, что Flux-GS достигает существенного сокращения параметров при сохранении конкурентоспособного визуального качества, предлагая надежное и масштабируемое решение для рендеринга в реальном времени на мобильных устройствах. Код: magenta{https://xiaobiaodu.github.io/flux-gs-project/{https://xiaobiaodu.github.io/flux-gs-project/}}.

Агентные мультимодальные модели выполняют разнообразные операции над изображением через код и рассуждают над возвращённым представлением, что представляет собой эффективный подход к детальному ответу на визуальные вопросы. Однако кодовые операции могут быть полезными, избыточными или вводящими в заблуждение. Вознаграждения только за результат не позволяют точно разграничить эти случаи, а существующие процессные вознаграждения либо не могут связать итоговую правильность с отдельными вызовами инструментов, либо требуют внешней модели-судьи. Для решения этой задачи мы предлагаем Tool-Augmented Credit Optimization (TACO) — вариант GRPO для агентов, использующих код-инструменты, построенный на двух сопряжённых каналах преимуществ. Первый из них, Differential Answer-Probe Reward (DAPR), представляет собой самонаблюдаемое преимущество за вклад инструмента, не требующее судьи, которое оценивает каждый вызов инструмента на основе его собственного влияния на правильность ответа. Токены-зонды, вставленные в процесс рассуждения модели, вызывают её прогнозы с использованием инструмента и без него, а разница в вознаграждении за результат принимается за ценность вызова: положительная для полезного вызова, отрицательная для вводящего в заблуждение и нулевая для того, который ничего не меняет. Это повторно использует существующий проверяльщик ответов без вспомогательного судьи и, будучи разницей, а не абсолютной оценочной величиной зонда, естественным образом устойчиво к взлому зондов. Второй — это преимущество за результат от финального ответа, распределяемое с помощью Outcome-Gated Advantage Routing (OGAR): правило без параметров, которое, в зависимости от результата вызова, передаёт этот кредит только ответственным сегментам, подавляя бесполезные вызовы инструментов без какого-либо штрафного слагаемого. Мы обучаем TACO через двухэтапный конвейер SFT+RL. Многочисленные эксперименты на эталонах восприятия, рассуждения и общих мультимодальных бенчмарках показывают, что он даёт устойчивый прирост точности и учится вызывать свои инструменты только тогда, когда они помогают.

Существующие бенчмарки использования компьютера не отражают реалистичность, сложность и долгосрочные требования реального применения компьютера, что ограничивает их способность выявлять недостатки передовых агентов. Мы представляем OSWorld 2.0 — бенчмарк, состоящий из 108 долгосрочных рабочих процессов использования компьютера, охватывающих повседневные и профессиональные задачи и разработанный для отражения сложных и труднорешаемых реальных явлений. Каждая задача представляет собой реалистичный сквозной рабочий процесс, медианное время выполнения которого пользователями-людьми составляет около 1,6 часа и который требует в среднем 318 вызовов инструментов при использовании Claude Opus 4.7 с максимальным обдумыванием, по сравнению с примерно 30 в OSWorld 1.0. OSWorld 2.0 нацелен на сложные явления, распространённые в реальных рабочих процессах, но недостаточно представленные в предыдущих бенчмарках, охватывая проблемы проектирования взаимодействия, такие как потоковое взаимодействие и динамические среды, а также проблемы шаблонов поведения агентов, такие как межресурсное рассуждение, вывод неявного состояния и визуально-пространственная точность. Задачи основаны на аутентичных входных артефактах и сверены с реалистичными профильными данными пользователей, содержащими состояние, а также включают отдельные отчёты по безопасности, проверяющие выполнение, чувствительное к безопасности. Согласно нашему основному бинарному показателю завершённости на 500 шагах, Claude Opus 4.8 с максимальным обдумыванием и пакетными вызовами инструментов показывает лучший результат, но всё же выполняет только 20,6% задач при частичном балле 54,8%; GPT-5.5 гораздо более эффективен по токенам, но выходит на плато около 13%. Эти результаты показывают, что текущие агенты всё ещё далеки от профессионального использования компьютера: вместо того чтобы спотыкаться об элементарное управление графическим интерфейсом или программирование, они теряют из виду ограничения, пропускают информацию, поступающую в середине задачи, угадывают, а не спрашивают пользователя, и пропускают верификацию, испытывая наибольшие трудности, когда задача зависит от скрытого состояния, которое они должны восстановить.

Большинство бенчмарков для агентов, пишущих код, являются статическими: агент получает полное описание задачи заранее и оценивается только по итоговому коду. Реальная помощь в написании кода носит интерактивный характер: пользователи уточняют цели, добавляют ограничения и исправляют ошибки в ходе нескольких раундов взаимодействия. Мы представляем SWE-Together — многопоточный бенчмарк, реконструированный на основе реальных сеансов общения пользователя и агента по написанию кода. Чтобы сделать реальные взаимодействия верифицируемыми, мы отобрали 109 задач на уровне репозиториев из 11 260 записанных сеансов, выбирая те, в которых можно восстановить состояние репозитория, ясны цели пользователя и наблюдаемы результаты. Для воспроизведения этих взаимодействий с разными агентами мы построили реактивный симулятор пользователя на основе языковой модели (LLM), который сохраняет намерения исходных пользователей и предоставляет обратную связь, когда прогресс агента по написанию кода этого требует. Чтобы оценивать агентов как партнёров по сотрудничеству, мы измеряем как итоговую корректность репозитория, так и количество раундов корректирующей обратной связи, потребовавшихся в ходе взаимодействия. Эксперименты с передовыми код-агентами показывают, что более сильные агенты, как правило, достигают более высокой итоговой успешности, требуя при этом меньшего количества вмешательств, что свидетельствует об улучшении пользовательского опыта.

Речевые языковые модели (SLM) широко изучаются, при этом распространённая парадигма включает текстовые данные и предварительно обученные текстовые языковые модели (LM). Ведущим подходом является перемежение речи и текста, при котором модели обучаются на последовательностях, содержащих как речевые, так и текстовые токены, с целью улучшить даже сугубо речевые способности. Однако то, как эти две модальности взаимодействуют в латентном пространстве модели, остаётся неясным. В данной работе мы анализируем перемежающиеся рече-текстовые LM из различных семейств моделей и размеров через призму логит-линзы, чтобы получить такое понимание. Мы обнаруживаем, что эти модели проходят через фазу неявной транскрипции, на которой текстовый токен произнесённого слова становится декодируемым в промежуточных слоях, несмотря на то, что они не обучались для распознавания речи. Транскрипция слова появляется среди наиболее вероятных слов-кандидатов вплоть до 77% данных. После этой стадии модели переходят к предсказанию следующего слова в текстовом пространстве, а затем преобразуются обратно в речевую область. Наконец, мы анализируем роль данных перемежения и инициализации от текстовых LM в возникновении такого поведения, а также то, как это коррелирует со способностями к обработке устной речи. Наш анализ проливает свет на внутренние механизмы, лежащие в основе связи между речевой и текстовой модальностями, и может повлиять на оптимизацию SLM.

Данные, как фундаментальный субстрат современного интеллекта, в значительной степени стимулировали развитие текущих фундаментальных моделей. Естественно, исследователи стремятся распространить эту парадигму на область GUI-агентов, надеясь построить мощные GUI-агенты на основе аналогичного подхода. Однако данные для GUI-агентов невозможно напрямую собрать из интернета, что делает их дорогостоящими и труднодоступными для масштабного сбора. В результате современные GUI-агенты страдают от плохой межплатформенной обобщаемости и ограниченной способности к визуальной привязке для мелкозернистых элементов GUI. В попытке решить проблему данных для GUI-агентов мы предлагаем GUICrafter — слабо контролируемый GUI-агент, использующий массу неаннотированных скриншотов для существенного снижения зависимости от дорогостоящих человеческих аннотаций. GUICrafter исследует фреймворк куррикулумного обучения для тренировки GUI-агентов через две последовательные стадии. Сначала модель обучается визуальной привязке на крупномасштабных неаннотированных скриншотах и веб-страницах, используя богатые контекстуальные сигналы, присущие взаимодействиям с GUI, без человеческих аннотаций. Затем, на второй стадии, мы используем небольшой объем высококачественных данных для калибровки модели посредством обучения с подкреплением. Эксперименты показывают, что GUICrafter достигает конкурентоспособной или даже превосходящей производительности по сравнению с продвинутыми системами, такими как UI-TARS, при использовании лишь 0,1% от её объёма данных. Более того, при одинаковом объеме аннотированных данных GUICrafter превосходит все предыдущие методы, включая GUI-R1. Код, данные и модели доступны по адресу https://github.com/fansunqi/GUICrafter.

Представляем DreamForge-World 0.1 Preview — предварительную фундаментальную модель мира для интерактивной симуляции в реальном времени. Система адаптирует авторегрессионный видеостек LongLive 1, основанный на Wan2.1-T2V-1.3B, с остаточным каналом действий, вдохновлённым семейством Matrix-Game. DreamForge-World 0.1 Preview фокусируется на комплементарной оси по отношению к симуляторам мира передового масштаба: адаптация с низкими вычислительными затратами, исполнение на потребительских GPU и широкий охват интерактивных возможностей. Она поддерживает управление с клавиатуры и мыши в реальном времени, мультимодальную инициализацию, повторное промптирование в процессе, двухэкранный режим и интерактивные прогоны минутного масштаба в родном разрешении 480p, достигая до 14–15 FPS на одном RTX 4090 при низком потреблении памяти. Используя открытые видеомагистрали и применяя целевые адаптационные прогоны, мы создаём предварительную систему с высокой экономической эффективностью. DF-World 0.1 Preview пока не является полноценным по памяти или качественным на уровне передовых симулятором мира, но демонстрирует практический путь с низкими вычислительными затратами к предварительным моделям мира с управлением в реальном времени на потребительских GPU.

Несмотря на впечатляющие успехи в области матирования изображений, видеоматирование остается сложной задачей из-за внутреннего разрыва между высокоуровневым отслеживанием, требующим покадрового понимания, и низкоуровневым матированием, сфокусированным на чрезвычайно мелких деталях. Существующие методы пытаются решить эту проблему с помощью дорогостоящих и узконаправленных наборов данных для видеоматирования, что может ограничивать обобщение на другие области и снижать надежность отслеживания. Мы переосмысливаем парадигму с помощью SAM2Matting — фреймворка, преобразующего трекер в средство матирования, который продвигает VOS-трекеры к высокоточному видеоматированию. В частности, он декомпозирует задачу, расширяя фундаментальный трекер (например, SAM2, SAM3) с помощью моста предложений регионов и специализированных головок матирования, что позволяет неизмененному трекеру обрабатывать временну́ю согласованность, в то время как компоненты матирования разрешают тонкие детали. Примечательно, что, несмотря на обучение только на изображениях, SAM2Matting устанавливает новый уровень современных результатов в видеоматировании, поддерживает разнообразные типы подсказок, сохраняет сильную временну́ю согласованность и демонстрирует надежное обобщение как в сценариях, ориентированных на человека, так и в произвольных условиях.

Нормализующие потоки (NFs) являются мощными генеративными моделями, способными к точной оценке плотности и сэмплированию. Однако их строгая обратимость часто заставляет модель исчерпывать свою ёмкость на низкоуровневых деталях пикселей, препятствуя захвату высокоуровневых семантических структур. Хотя маскированное моделирование изображений (MIM) преуспело в обучении представлениям, его интеграция в генеративные конвейеры оставалась в значительной степени модульной и разрозненной. В этой статье мы предлагаем MIMFlow — унифицированную сквозную структуру, которая совместно оптимизирует латентную семантику, реконструкцию пикселей и генеративный поток. Используя VAE-энкодер для вывода семантического латентного представления из маскированных изображений, MIMFlow достигает принципиального разделения генеративной задачи: нормализующий поток сосредоточен на моделировании упрощённого низкочастотного семантического многообразия, в то время как специализированный декодер занимается высокочастотным синтезом. Эта конструкция эффективно устраняет внутреннее узкое место ёмкости NF, позволяя модели отдавать приоритет глобальной структурной согласованности перед избыточным шумом. Эмпирические результаты на ImageNet 256×256 показывают, что MIMFlow-L достигает точности линейного зондирования 71,3% и FID, равного 2,50. Несмотря на использование всего 128 токенов (на 50% меньше, чем в стандартных моделях), он обеспечивает прирост производительности на 32,8% по сравнению с базовыми моделями NF аналогичного масштаба. Наш код доступен по адресу https://github.com/MCG-NJU/MIMFlow.

Исследования в области прогнозирования временных рядов последовательно движутся в сторону более крупных архитектур — от специализированных трансформеров до фундаментальных моделей общего назначения, исходя из предположения, что именно ёмкость модели обеспечивает точность. Мы придерживаемся противоположной позиции: большую часть разрыва можно сократить с гораздо меньшими затратами за счёт настройки предобработки, а не масштабирования моделей. В качестве тестовой среды мы используем гребневую регрессию (Ridge regression), поскольку она имеет решение в замкнутой форме и интерпретируемые веса, что позволяет напрямую считывать оптимальные гиперпараметры из результатов поиска. Мы проводим поиск по длине контекста, локальной нормализации, регуляризации и аугментации на восьми стандартных эталонных наборах данных и обнаруживаем три закономерности. (1) Оптимальная глубина ретроспективы сильно зависит от конкретного ряда и часто немонотонна по горизонту прогноза; показатели степени в аппроксимации степенным законом варьируются от +0,46 на ETTm2 до –0,19 на Exchange и Traffic, что ставит под сомнение общепринятое мнение о том, что более длинные горизонты требуют более длинной предыстории. (2) Нормализация по обучаемой конечной части контекста, а не по всему контексту, почти повсеместно предпочтительнее. (3) Ряды внутри одного набора данных часто расходятся во мнениях относительно гиперпараметров; оптимальная степень совместного использования параметров между рядами варьируется от полного совместного использования до индивидуального для каждого ряда. Полученные модели превосходят предыдущие линейные прогнозисты на большинстве комбинаций «набор данных – горизонт» и превышают базовые показатели трансформеров, MLP и CNN на шести из восьми эталонных наборов. Оптимизированные гиперпараметры также служат диагностическим инструментом для самих данных, выявляя структуры, которые более крупные модели молча усваивают в своих обученных параметрах.

Мы представляем Nemotron-Labs-Diffusion-Image — современную маскированную дискретную диффузионную модель (MDM) для высококачественного синтеза изображений по текстовому описанию. По сравнению с предыдущими работами по маскированной генерации изображений, Nemotron-Labs-Diffusion-Image решает две ключевые проблемы. Во‑первых, в отличие от непрерывных диффузионных моделей, которые постепенно уточняют латентные представления по всему изображению, стандартные MDM лишены способности к самокоррекции, поскольку дискретные токены невозможно изменить после их размаскирования. Во‑вторых, хотя увеличение размера словаря дискретных токенизаторов изображений повышает качество реконструкции, это создает оптимизационные трудности для генеративного моделирования из‑за того, что обучающий сигнал для каждого токена становится все более разреженным. Для решения первой проблемы Nemotron-Labs-Diffusion-Image включает механизм редактирования токенов, который позволяет модели динамически пересматривать уже размаскированные токены в ходе инференса — подобно тому как скульптор итеративно дорабатывает свою работу. Для решения второй проблемы мы предлагаем целевую функцию группированной кросс-энтропии (GCE), которая присваивает положительные обучающие сигналы токенам, соседствующим с истинными токенами в пространстве вложений, тем самым смягчая разреженность сигнала. Для дальнейшего повышения эффективности обучения мы реализовали пользовательский объединенный оператор для GCE, который значительно снижает потребление видеопамяти при больших размерах словаря. Экспериментальные результаты показывают, что эти инновации существенно улучшают как эффективность обучения, так и качество изображений маскированных дискретных генераторов, достигая оценки 0,90 на GenEval, 86,9 на DPG и 10,76 на HPSv3.

Математическое знание организовано вокруг утверждений и их зависимостей, однако эта структура раскрывается неравномерно: неформальные статьи ссылаются в основном на уровне документов, тогда как формальные библиотеки фиксируют детализированные зависимости над гораздо меньшим объёмом математики. Мы представляем TheoremGraph — унифицированный граф зависимостей на уровне утверждений, охватывающий как неформальную, так и формальную математику. Со стороны неформальной математики мы разбираем 11,7 млн теоремоподобных окружений из математического раздела arXiv и восстанавливаем 18,3 млн кандидатных направленных зависимостей, каждая из которых помечена экстрактором, предложившим её, чтобы конечные пользователи могли выбирать между широтой охвата и точностью. Со стороны формальной математики мы выпускаем LeanGraph — экстрактор уровня элаборатора Lean 4, который порождает 388 105 узлов-деклараций и 11,3 млн типизированных рёбер из 25 проектов на Lean. Мы связываем оба графа, встраивая сгенерированные слоганы на естественном языке в общее семантическое пространство, объединяя связанные утверждения между статьями и через разрыв неформальной/формальной математики; LLM-судья подтверждает 47 952 таких совпадения при косинусном пороге выше 0,8, при этом доля принятия судьёй возрастает с 48% около порога до 87% на уровне >=0,9. В задаче извлечения формальных понятий наше представление имени и сигнатуры с расширением графа достигает Recall@10, переранжированного в 0,775 против 0,780 у LeanSearch v2, но без LM-реранкера (разница менее 0,5 п.п.). Мы публикуем набор данных, экстракторы, HTTP API и MCP-интерфейс как инфраструктуру для математического поиска, атрибуции и рассуждений с дополнением извлечёнными данными; ресурсы доступны по адресам theoremsearch.com и huggingface.co/datasets/uw-math-ai/theorem-matching.

Агенты LLM выполняют запросы пользователей от имени организаций посредством вызовов инструментов и обязаны следовать корпоративным политикам, заданным в их системных подсказках. Предшествующие работы подходят к этому как к проблеме защиты — внешние проверки, блокирующие несоответствующие действия агента. Мы утверждаем, что соблюдение политик является более широкой проблемой: реальные рабочие процессы разворачиваются в течение многих шагов, требуют явного подтверждения пользователя и предварительного ознакомления, а также зависят от содержания диалога, а не от какого-либо одного значения аргумента. Для достижения этого уровня необходимы (i) полный контекст разговора, (ii) самостоятельное рассуждение о политиках и текущем диалоге, и (iii) специфические для разговора корректирующие меры, направляющие следующий шаг агента — три возможности, которые предыдущие работы по защите часто недооценивали. Мы представляем POLICYGUARD — верификатор под-агента, который разделяет взгляд агента на диалог, рассуждает о политиках в контексте и предоставляет действенную обратную связь для следующего шага агента. На уровне tau^2-BENCH airline для трех поставщиков (GPT-5.4, Claude Sonnet 4.6, Gemini 2.5 Pro) с четырьмя запусками на каждую конфигурацию POLICYGUARD повышает показатель PASS4 на +12.0 / +6.0 / +12.0 п.п. Анализ отдельных вызовов показывает, что POLICYGUARD достигает более высокого уровня обнаружения нарушений политик, блокируя при этом примерно в два раза реже, чем защита на уровне аргументов.

Системы интерактивной генерации видео для исследования мира под управлением камеры разворачивают растущие последовательности латентных видеокадров, переплетая переход состояния с синтезом наблюдений высокой частоты. Мы предлагаем Walking in the Implicit — сцено-центрическую парадигму, которая заменяет переменную разворачивания с латентных представлений кадров на неявное состояние фиксированной длины, поддающееся рендерингу, названное Нейронной Неявной Сценой (Neural Implicit Scene, NIS). Это факторизует интерактивную генерацию на стохастический переход компактного состояния сцены и детерминистический рендеринг, обусловленный позой, при заданном семплированном состоянии. Мы инстанцируем эту парадигму в виде NeuWorld: трансформерный VAE обучается локально закрепленной NIS по разреженным кадрам с известными позами, а диффузионный трансформер обновляет NIS, обусловленный будущими траекториями камеры и геометрически-осознанной извлеченной историей. Повторно используя кодировщик VAE в качестве унифицированного кондиционера, NeuWorld отображает сигналы камеры, референсного изображения и истории в ту же модальность NIS, избегая внешних гетерогенных кодировщиков. Обучаясь с нуля на публичных данных с известными позами без предобученных видеобэкбонов или вспомогательных 3D-реконструкторов, NeuWorld достигает сильной долгосрочной согласованности при благоприятной эффективности инференса.

RocketSmith — это агентная система, которая интеллектуально автоматизирует процесс DFAM (проектирования для аддитивного производства) для разработки мощных ракет, пригодных к запуску. Система использует большую языковую модель для координации выполнения программных инструментов с целью валидации проектных характеристик, таких как устойчивость полета, и генерации параметрических компонентов конструкции для сборки ракеты. Набор подагентов и навыков обеспечивает оптимизацию параметров полета путем итераций как в режиме zero-shot, так и с участием человека в цикле (human-in-the-loop). С помощью этой системы были разработаны четыре различные мощные ракеты с разными конфигурациями двигателей и сборки, использующие уникальные возможности аддитивного производства. Эти компоненты сборки были изготовлены на различных FDM-принтерах, вручную оценены на готовность к полету и прошли летные испытания в ходе запуска. По результатам испытаний все ракеты осуществили устойчивый запуск, при этом две из четырех ракет были успешно возвращены в состоянии, пригодном для повторного полета. Данные альтиметра подтвердили, что ракеты достигли высоты, составляющей 80% от ожидаемого апогея, предсказанного агентной системой, что свидетельствует о согласованности между моделированием и экспериментом.

Прогнозирование трудности заданий для человека является центральной задачей образовательного оценивания, где надежные оценки поддерживают справедливость и эффективное конструирование тестов. Существующие методы часто полагаются на дорогостоящую калибровку человеком или текстовые представления на уровне заданий, предоставляя ограниченные сведения о когнитивных процессах, делающих задания трудными. Мы утверждаем, что трудность следует рассматривать не только как свойство текста задания, но и как наблюдаемое следствие нагрузки на решение задач, которую задание индуцирует. Большие модели рассуждений (LRM) обеспечивают масштабируемые процессуальные свидетельства посредством трасс рассуждений, но такие свидетельства должны быть структурированы для поддержки интерпретируемого моделирования. С этой целью мы представляем Epi2Diff (Episode to Difficulty) — фреймворк, который отображает трассы рассуждений LRM в когнитивно обоснованные последовательности эпизодов. Эти эпизоды группируют фрагменты трасс в функциональные состояния решения задач, позволяя моделировать трудность через масштаб рассуждений, распределение усилий и переходы между состояниями. Epi2Diff извлекает компактные эпизодно-динамические признаки и объединяет их с семантическими представлениями заданий для прогнозирования человеческой трудности. Эксперименты на четырех реальных наборах данных о человеческой трудности показывают, что Epi2Diff последовательно превосходит сильные базовые модели, включая дообученные малые языковые модели, обучение в контексте LLM и адаптацию LLM с учителем. На эталонах классификации, основанных на SAT, Epi2Diff достигает среднего относительного прироста 8,1% по сравнению с базовыми моделями дообучения LLM с учителем. Дальнейший анализ показывает, что более трудные задания вызывают более трудоемкую, итеративную и ориентированную на реализацию динамику эпизодов, а не просто более длинные ответы. Эти результаты демонстрируют, что когнитивные эпизоды в трассах рассуждений LRM предоставляют прогностическое и интерпретируемое представление процесса для человеческой трудности заданий, открывая новый взгляд на образовательные измерения с помощью моделей рассуждений.

Методы GUI-грундинга на основе MLLM обычно формулируют локализацию целей как авторегрессивную генерацию координат, что позволяет моделям использовать сильные способности слежения за инструкциями и семантического понимания, присущие MLLM. Однако такая формулировка требует, чтобы модель сохраняла свидетельства о целевых регионах на уровне областей при декодировании токенов координат с пространственной точностью, необходимой для кликов в GUI. Наш диагностический анализ показывает, что осведомленность о целевых регионах возникает в промежуточных слоях декодера, но не сохраняется и не транслируется в итоговое предсказание координат. Существующие методы типа ZoomIn решают эту проблему с помощью внешнего прохода «обрезать и перезапустить», что улучшает локализацию, но увеличивает сквозную задержку и вычислительные затраты. Чтобы сохранить преимущества двухпроходного зуммирования без этих дополнительных затрат, мы предлагаем InnerZoom — однонаправленную структуру для межслойного связывания свидетельств. InnerZoom преобразует сигналы, связанные с целью, из исходного прямого прохода в компактное межслойное состояние свидетельств, а затем сохраняет, уточняет и повторно внедряет это состояние на последующих слоях декодера для управления предсказанием координат. Обширные экспериментальные результаты показывают, что InnerZoom-4B достигает самых высоких результатов на всех шести бенчмарках GUI-грундинга, получая 64,7 на OSWorld-G, 40,2 на UI-Vision, 73,1 на OSWorld-GR и 87,6 на MMBench-GUI, превосходя предыдущие лучшие результаты на 4,1, 3,2, 2,9 и 2,3 балла соответственно. В условиях контролируемого 4B-сценария InnerZoom улучшает тот же базовый уровень SFT+RL в среднем на 5,3 балла и превосходит двухпроходный ZoomIn в среднем на 1,3 балла, одновременно снижая сквозную задержку до 31,8% и TFLOPs примерно на 29%. Код и модели будут доступны публично.

Адаптация базового кодировщика vision-language к специализированной задаче поиска создает фундаментальный компромисс: выигрыш на целевом распределении достигается ценой потери широкой обобщающей способности базовой модели, и поиск одежды является ярким примером этой проблемы. Мы представляем ZooClaw-FashionSigLIP2 — специализированную модель на базе SigLIP2, которая разрешает этот компромисс с помощью простого рецепта: полная тонкая настройка с дистилляцией знаний на курируемых внутридоменных данных с последующей интерполяцией весов (WiseFT, wortsman2022wiseft) с базовой моделью. Этот подход превосходит LoRA, более крупные архитектуры (вплоть до 1 млрд параметров) и использование внешних обучающих данных. При честном сравнении ZooClaw-FashionSigLIP2 превосходит все базовые линии по каждому бенчмарку в нашем наборе. Кроме того, мы выпускаем ZooClaw-Fashion — новый высококачественный бенчмарк для поиска одежды — и проводим систематический анализ качества широко используемых бенчмарков, вскрывающий и смягчающий структурные смещения в их публичных эталонных данных. Мы публикуем веса модели и все артефакты для оценки в открытом доступе, чтобы способствовать будущим исследованиям.

Генеративный молекулярный дизайн формируется простыми прокси-бенчмарками для лекарственно-подобных свойств и моделями, предобученными на больших фармацевтических наборах данных. Такое сочетание обеспечивает высокие показатели бенчмарков, но ограничивает переносимость на области, структурно отличные от открытия лекарств. Чтобы преодолеть это ограничение и направить открытия в сторону реальных, научно обоснованных целей, мы представляем Бенчмарк молекулярной оптимизации для нанотехнологий (NMO), который объединяет машинное обучение (ML) и квантовое материаловедение. NMO одновременно действует как строгий испытательный полигон для сообщества ML и как механизм открытий для исследований в области нанотехнологий. Пакет заменяет прокси-оракулы квантовыми симуляциями и вводит строгие протоколы, которые ставят научную полезность выше переобучения, ориентированного на лидерские таблицы. Физически обоснованные задачи NMO налагают жесткие структурные ограничения и неровные ландшафты пригодности, предъявляя принципиально новые требования к генеративным моделям. Примечательно, что продвинутые методы молекулярной оптимизации показывают более низкие результаты по сравнению с гораздо более простыми подходами на задачах NMO. Мы разрабатываем новый базовый метод, определяющий критические компоненты для решения задач NMO, включая новое представление для моделирования структурных ограничений и доменно-агностическую стратегию предобучения для устранения смещения фармацевтических наборов данных. Наши результаты превосходят современные физические свойства и раскрывают ранее неизвестные структурные мотивы, предлагая новые идеи для сообщества нанотехнологий и демонстрируя, что ML может вести к подлинным научным открытиям.

В реальных приложениях защитные механизмы часто должны выявлять небезопасные взаимодействия между пользователем и моделью в соответствии с политиками безопасности, специфичными для конкретного приложения, а не полагаться на заранее заданные таксономии рисков. В данной работе мы изучаем эту задачу в парадигме контекстного применения политик безопасности (in-context policy guardrailing), где защитные механизмы предсказывают нарушения безопасности на основе спецификаций политик, предоставленных в контексте. Для систематической оценки этой возможности мы представляем SafePyramid — эталон безопасности, включающий 1000 многоэтапных диалогов в 10 предметных областях и 3000 соответствующих политик, специфичных для приложений, которые в совокупности содержат 61 699 различных правил на естественном языке. SafePyramid организует оценку по трем уровням сложности: L0 оценивает понимание отдельных правил, L1 — рассуждения о зависимостях между правилами, а L2 — адаптацию к целостным новым наборам политик, заданным в контексте. Для обеспечения качества эталона мы применяем строгий многоэтапный конвейер для его построения и валидации. Используя SafePyramid, мы оцениваем 10 передовых LLM и 5 настраиваемых по политикам защитных механизмов и обнаруживаем, что контекстное применение политик безопасности остается крайне сложной задачей: даже лучшая модель GPT-5.5 полностью определяет весь набор нарушенных правил лишь в 54,0%, 35,3% и 12,9% случаев на уровнях L0, L1 и L2 соответственно. Эти результаты подчеркивают ограниченность современных защитных механизмов и указывают на необходимость более надежных контекстных защитных механизмов, способных надежно выполнять политики, разрешать зависимости между правилами и адаптироваться к новым наборам политик.

Появление крупных моделей рассуждений привело к формированию исключительно длинных цепочек рассуждений, что создало бремя прозрачности, при котором критически важная логика часто оказывается погребена под массивным процедурным текстом. Для решения этой проблемы мы представляем ReasoningLens — фреймворк с открытым исходным кодом, предназначенный для иерархической визуализации и диагностического аудита сложных цепочек рассуждений. ReasoningLens решает проблему информационной некропсии за счет: (1) структурирования следов в интерактивные иерархии, разделяющие высокоуровневую стратегию и низкоуровневое исполнение; (2) использования агентивного аудитора для автоматического обнаружения ошибок и верификации с помощью инструментов; и (3) синтеза системных профилей рассуждений для выявления специфических слепых зон модели. Преобразуя неструктурированные стены текста в действенные инсайты, ReasoningLens предоставляет модульную основу для интерпретации, отладки и оптимизации следующего поколения ориентированных на рассуждение ИИ.

Архитектуры смеси экспертов (Mixture-of-Experts, MoE) стали мощной парадигмой для масштабирования диффузионных моделей в визуальной генерации. Последние достижения были сосредоточены на адаптивном распределении вычислительных ресурсов между разнородными токенами для повышения эффективности и производительности. Однако мы выявляем проблему назначения маршрутизации в существующих диффузионных MoE-фреймворках: маршрутизатор не способен точно выделить больше вычислительных ресурсов значимым токенам. Наш анализ связывает эту неудачу с зависимостью маршрутизатора от зашумленных латентных признаков на протяжении всего процесса шумоподавления. Такой стохастический шум скрывает критическую структурную и текстурную информацию, тем самым не позволяя маршрутизатору эффективно различать значимые токены. Для решения этой проблемы мы предлагаем SharpMoE — фреймворк после обучения с механизмом точной маршрутизации, использующим значимость, который применяет чистые латентные признаки в качестве безшумного направляющего сигнала для маршрутизации. Обходя искаженные шумом входные данные, SharpMoE предоставляет маршрутизатору четкое руководство по значимости, позволяя идентифицировать значимые токены даже на этапах с высоким уровнем шума. Кроме того, мы вводим потерю маршрутизации траектории, чтобы ограничить распределение вычислений на протяжении многошаговой траектории шумоподавления, обеспечивая точное выделение ресурсов по ходу генерации. Обширные эксперименты показывают, что SharpMoE служит универсальным решением типа "включай и работай", которое дополнительно улучшает предварительно обученные и сходящиеся MoE-модели, достигая передовых результатов в визуальной генерации.

4D-реконструкция движения рук из эгоцентрического видео ограничена явными недостатками существующих методов: конвейеры на основе изображений зависят от детектора, который дает сбои при сильной окклюзии, в то время как методы на основе видео полагаются на темпоральные модули, обученные только на скудных аннотациях позы рук — узком сигнале, недостаточном для моделирования динамики движения, анализа окклюзий и взаимодействия руки с объектом. Однако именно эти способности должны неявно приобретать генеративные модели видео при обучении синтезу согласованного видео в интернет-масштабе. Руководствуясь этим, мы представляем ViDiHand, который использует представления предварительно обученной модели диффузии видео для реконструкции 4D-позы обеих рук. Мы адаптируем ее с помощью цели рендеринга наложения рук, которая специализирует признаки для рук, сохраняя при этом мировые априорные знания. Затем декодер восстанавливает позу в метрическом масштабе из адаптированных признаков. Весь конвейер работает непосредственно на полных кадрах — без детектора, без заполнителя и без оптимизации во время тестирования. На наборах данных ARCTIC, HOT3D и HOI4D ViDiHand значительно превосходит предыдущие методы, утверждая модели диффузии видео как мощную новую основу для реконструкции движения рук и многообещающий путь к масштабируемому сбору данных в естественных условиях для воплощенного ИИ. Страница проекта: https://vidihand.github.io.

Модели «зрение-язык-действие» (Vision-Language-Action, VLA) обеспечивают управление роботизированными манипуляциями на основе инструкций, однако они наследуют избыточно большие языковые магистрали от предварительно обученных VLM, чья ёмкость значительно превышает необходимую для коротких роботизированных команд. Это поднимает фундаментальный вопрос: какая часть модели VLA действительно необходима для управления с обратной связью? В данной работе мы исследуем архитектурную избыточность в VLA-моделях, используя удаление блоков трансформера в качестве контролируемого вмешательства. Мы предлагаем протокол «Удаление-Затем-Восстановление» (Drop-Then-Recovery, DTR), который удаляет выбранные блоки из предварительно обученной VLA-модели, а затем дообучает полученную модель, чтобы оценить, была ли удалённая ёмкость необходима для последующего управления. Для обеспечения надёжности этого вмешательства мы разрабатываем GateProbe — метрику чувствительности на основе однократных виртуальных вентилей, которая ранжирует блоки по их вкладу в функцию потерь действий на downstream-этапе. На нескольких архитектурах VLA, бенчмарках манипуляций и даже в реальных промышленных сценариях с роботами мы обнаруживаем сильную асимметрию в возможности восстановления после удаления: *языковые магистрали обладают высокой избыточностью для стандартных задач роботизированных манипуляций, в то время как каналы зрения и действий значительно менее толерантны к удалению*. На бенчмарке LIBERO удаление половины блоков LLM даже улучшает показатель OpenVLA-OFT с 95,0% до 98,3% при одинаковом бюджете downstream-дообучения, а сохранение лишь двух языковых блоков всё ещё позволяет достичь производительности на уровне базовой модели. Эти результаты позволяют предположить, что текущие бенчмарки VLA могут оказывать ограниченное давление на глубокое языковое обоснование и понимание композиционных инструкций, и что будущие архитектуры VLA должны более целенаправленно распределять ёмкость между языковыми, зрительными и действенными компонентами. Код доступен по адресу: https://github.com/s1ghhh/VLADrop.

Системы мультиагентных больших языковых моделей (LLM) часто используют агентов-верификаторов и агентов-критиков для подавления галлюцинаций, однако верификация происходит с задержкой. За время этой задержки ложные утверждения могут распространяться по сети агентов. Мы моделируем этот процесс как замедленный консенсус на графе с заземленными узлами-корректорами. Спектральное разложение с помощью заземленного лапласиана дает порог устойчивости в замкнутой форме для дозы верификации: слишком сильная или слишком запаздывающая коррекция может превратить консенсус в колебания. Наиболее нестабильный режим возникает, когда задержки связи и верификации совпадают; для задержки, равной двум, порогом является обратное золотое сечение. Та же схема приводит к супермодулярной целевой функции размещения и жадному правилу аппроксимации (1-1/e) для распределения ограниченного бюджета корректоров между влиятельными узлами. Эксперименты на пяти открытых моделях подтверждают предсказанные колебания дозы и задержки. Напротив, ответы на фактические вопросы с привязкой превращают истину в поглощающую границу и устраняют этот эффект, что указывает на то, что нестабильность характерна для задач со знаковыми убеждениями, тогда как верификация с привязкой остается стабилизирующей.

Недавние работы продемонстрировали потенциал больших языковых моделей (БЯМ) для оптимизации программ — ключевой задачи в области языков программирования. Мы предлагаем метод адаптации «черного ящика» под названием Retrieval Augmented Search (RAS), который выполняет лучевой поиск по кандидатам оптимизаций; на каждом шаге он извлекает контекстные примеры из заданного обучающего набора пар медленных и быстрых программ для направления БЯМ. Критически важным является то, что выполнение контекстного извлечения на основе сгенерированного БЯМ описания на естественном языке значительно превосходит извлечение на основе исходного кода. Мы также предлагаем AEGIS — метод повышения интерпретируемости путем разложения обучающих примеров на «атомарные правки», которые по своей природе являются значительно более инкрементальными. Мы показываем, что RAS работает до 2,06 раза лучше, чем предыдущие передовые стратегии адаптации «черного ящика» при оптимизации программ на C++, и что AEGIS работает до 1,37 раза лучше, внося при этом значительно меньшие правки. Мы также показываем, что использование RAS улучшает средний процентиль времени выполнения программ на Python на 10,27 по сравнению с базовыми методами.

Развитие генеративных моделей ИИ, способных создавать текст и изображения, знаменует собой критически важный шаг вперед в области мультимодального интеллекта, особенно для задач, связанных с чередованием обеих модальностей. Чтобы вывести этот интеллект на следующий этап, модели должны автономно генерировать свободные чередующиеся последовательности текст-изображение. В данной статье мы представляем ILLUME-X — передовую унифицированную мультимодальную парадигму, которая обеспечивает высококачественную генерацию свободных чередующихся последовательностей текст-изображение за счет повышения эффективности мультимодальных данных и стабилизации процесса мультимодального обучения. ILLUME-X включает три ключевых компонента: (i) расширенный конвейер обучающих данных, оптимизированный для генерации чередующихся последовательностей текст-изображение, (ii) стратегию прогрессивного обучения с самоадаптирующимися целями для мультимодальных токеновых последовательностей произвольной длины и (iii) объективный и всесторонний метод оценки ILScore для чередующихся последовательностей текст-изображение. Примечательно, что наш ILLUME-X превосходит предыдущие унифицированные модели в ряде задач генерации чередующихся последовательностей текст-изображение, таких как перенос стиля, декомпозиция изображений и повествование.

Самоколлизия остается постоянной проблемой в оценке поз человека и генерации движений на основе SMPL. При экстремальных сочленениях или стохастическом синтезе движений сгенерированные сетки часто демонстрируют самопересечения, что приводит к физически неправдоподобным результатам. Мы предлагаем PoseShield — нейронное ограничение коллизий, заданное непосредственно в пространстве поз SMPL. Мы формулируем коррекцию коллизий как задачу оптимизации с ограничениями и связываем изучаемое ограничение с уравнением эйконала. Применение регуляризации эйконала обеспечивает ненулевые градиенты вблизи границы коллизий, улучшая численную устойчивость и надежность процесса оптимизации. В отличие от предыдущих методов, которые работают в пространстве сетки или полагаются на эвристические штрафы, наш подход работает непосредственно в низкоразмерном пространстве поз человека и имеет теоретическое обоснование. То же самое изучаемое ограничение распространяется на последовательности движений человека, обеспечивая агностический по отношению к генератору последующий корректор коллизий без переобучения базовой модели движений. Эксперименты на новом бенчмарке поз SMPL показывают, что наш метод достигает 95,8% успешности и превосходит современные базовые подходы.

Современные модели надежности репрезентации в нейронных популяциях сосредоточены на временной стабильности: сохраняются ли центроиды популяций между сессиями и днями. Такая постановка оставляет без ответа фундаментальный вопрос: насколько надежно воспроизводится структура попарных расстояний между стимулами в независимых наблюдениях внутри одной сессии? Мы утверждаем, что это свойство — геометрическая стабильность — представляет собой независимую ось репрезентационного анализа, не охватываемую существующими подходами. Мы формализуем геометрическую стабильность как ранговую корреляцию Спирмена между матрицами несходства представлений по расщепленным выборкам (Shesha) и показываем, что она эмпирически диссоциируется как от временной стабильности, так и от точности декодирования. На 229 наблюдениях «область-сессия», охватывающих 68 областей мозга в задаче зрительного различения (Steinmetz et al., 2019), геометрическая стабильность предсказывает связь между нейронной активностью и поведением от пробы к пробе (ρ = 0.18, p = 0.005), тогда как дрейф центроидов этого не делает (ρ = 0.002, p = 0.976). Региональная иерархия, где полосатое тело наиболее стабильно (S = 0.44), а гиппокамп наименее стабилен (S = 0.19), примерно противоположна иерархии временной стабильности. Согласованные по направлению данные из обонятельной системы (Bolding & Franks, 2018) мотивируют модель аттракторной сети, в которой рекуррентная возбуждающая связь усиливает согласованность матриц несходства по расщепленным выборкам за счет завершения паттернов стимулов из разреженного прямого входа (ρ = +0.64, p = 0.010), обеспечивая объяснение на уровне цепей того, как возникает геометрическая стабильность. Эти результаты устанавливают геометрическую стабильность как функционально значимое, зависящее от цепей свойство нейронных популяционных кодов, ортогональное мерам временного дрейфа и дополняющее недавние объяснения того, как рекуррентная связность уравновешивает стабильность репрезентации с последовательной динамикой в гиппокампальных цепях.

Мы исследуем обусловленное действиями моделирование мира как масштабируемый способ получения переносимых априорных знаний о динамике для обучения роботов. Путем предварительного обучения модели прогнозированию того, как действия управляют эволюцией визуальной сцены, результирующая модель мира захватывает многократно используемую динамику взаимодействия, выходящую за рамки генерации видео на уровне внешнего вида. Конкретно, мы предварительно обучаем многовидовую интерактивную базовую диффузионную модель мира, A2World, на крупномасштабных данных манипуляций роботов с реальными аннотациями действий. Мы проверяем полученные априорные знания о динамике с двух взаимодополняющих точек зрения. Во-первых, мы адаптируем A2World в специализированный для задач или сцен симулятор реального мира, A2World-sim, долгосрочные прогоны которого поддерживают основанную на симуляторе оценку политик и масштабируемый анализ «что если», заменяя прогоны реального робота прогонами модели мира. Во-вторых, исходя из тех же предварительно обученных весов, мы адаптируем A2World в модель совместного предсказания видео и действий, A2World-policy, которая прогнозирует действия при визуальном и инструктивном обусловливании. Эксперименты на эталонных тестах симуляции и в условиях реальных роботов показывают, что предварительное обучение обусловленной действиями модели мира дает переносимые априорные знания о динамике, которые приносят пользу как обучению роботов, ориентированному на симулятор, так и ориентированному на политику.

Несмотря на значительный прогресс в области редактирования изображений по текстовым запросам, этот подход остается ограниченным применительно к структурной ретуши портретов. Текстовые описания с трудом передают тонкие изменения черт лица и пропорций тела. Для решения этой проблемы мы вводим понятие ретуши портретных фотографий по образцу (Exemplar-Based Portrait Photo Retouching), где модель получает пару образцов (до и после ретуши) и должна вывести и применить те же операции ретуши к новому целевому изображению. Существующие методы редактирования по образцу в основном ориентированы на задачи с выраженными визуальными преобразованиями. В отличие от них, структурная ретушь портретов требует чрезвычайно тонких и локальных модификаций, что затрудняет точное извлечение и перенос этих операций. Для решения этой задачи мы предлагаем MirrorPPR — новую архитектуру, предназначенную для захвата и переноса тонких операций структурной ретуши. Наш метод использует экстрактор операций ретуши (Retouching Operation Extractor) для выделения тонких различий из пары образцов. Извлеченные представления затем внедряются в предварительно обученный диффузионный трансформер (Diffusion Transformer, DiT) через коннектор и модули низкоранговой адаптации (Low-Rank Adaptation, LoRA). Кроме того, построение идеально согласованных обучающих пар между разными личностями существенно затрудняется из-за несоосности операций ретуши. Чтобы преодолеть это, мы предлагаем продвинутую парадигму самоаугментации данных, обеспечивающую строгую согласованность операций ретуши. Для устранения дефицита данных и поддержки этой новой задачи мы представляем MirrorPPR47M — крупномасштабный набор данных, содержащий более 47 миллионов пар ретуши. Структурируя датасет на симулированный и профессиональный подмножества, мы обеспечиваем прогрессивное обучение по нарастающей сложности для плавной оптимизации сети. Обширные эксперименты показывают, что MirrorPPR значительно превосходит существующие базовые методы как по качеству ретуши, так и по сохранению идентичности. Страница проекта доступна по адресу https://sjtu-deng-lab.github.io/MirrorPPR.

Точное представление трехмерного мира должно учитывать слоистую геометрию, когда один луч камеры может содержать несколько видимых и геометрически обоснованных поверхностей. Однако монокулярная оценка глубины сводит эту структуру к одной скалярной глубине на пиксель. Прозрачные сцены делают эту неоднозначность измеримой: один и тот же луч может проходить сквозь стекло на переднем плане и наблюдать фон, превращая цель обучения с учителем в соглашение, зависящее от аннотации, данных и процедуры обучения, а не во внутренне присущую сцене истину. Обученный предиктор раскрывает это соглашение как свое предпочтение слоя глубины. Мы представляем MultiDepth-3k (MD-3k) — разреженный порядковый эталон с двумя слоями для измерения предпочтения слоя глубины и точности пространственных отношений между слоями (ML-SRA). На MD-3k ведущие фундаментальные модели глубины демонстрируют различные предпочтения слоев при стандартном RGB-входе, показывая, что одна и та же слоистая геометрия может интерпретироваться по-разному разными моделями. Мы также обнаружили, что лапласианское визуальное промптирование (LVP) — безучебное спектральное преобразование входных данных — способно существенно изменить сообщаемый слой для некоторых замороженных моделей. Наилучшая комбинация RGB/LVP, DAv2-L, достигает 75,5% ML-SRA. Эти результаты позволяют предположить, что фундаментальные модели глубины могут выражать дополнительные геометрические гипотезы, которые остаются невыраженными при стандартной RGB-инференции. Мы приглашаем сообщество пересмотреть подходы к контролю глубины и оценке через призму учета неоднозначности, где множественные допустимые трехмерные интерпретации рассматриваются как геометрическая структура, подлежащая измерению, сохранению и выражению.

Тонкая настройка на безвредных данных может частично обратить поведение, усвоенное на более ранних этапах обучения. Безопасность может ослабевать при безобидных обновлениях после согласования, забытые способности могут возвращаться, латентные признаки могут передаваться через, казалось бы, не связанное обучение, а аналогичная хрупкость после согласования проявляется в других генеративных сценариях. Мы утверждаем, что эти явления полезно рассматривать через общую призму истории обучения. Наша гипотеза имеет геометрическую природу: крупные ранние этапы обучения создают доминирующие многообразия поведения, в то время как более поздние этапы согласования или специализации представляют собой мелкие смещения относительно них. Последующая тонкая настройка, таким образом, может наследовать устойчивую компоненту реверсии, указывающую обратно на свидетельство доминирующего многообразия. Мы называем это гравитационной интерпретацией реверсии при тонкой настройке. В наших основных условиях дрейф репрезентаций быстро приобретает компоненту вдоль определённого историей направления реверсии (v_rev). В основном эксперименте выравнивание с v_rev возрастает от cos = 0,429 ± 0,052 после первого обновления до 0,647 ± 0,021 к шагу 20. Для 24 пар запуск-шаг каждое наблюдаемое выравнивание превышает p99 изотропного нулевого распределения в пространстве активаций. Мы демонстрируем, что избирательное блокирование движения вдоль v_rev изменяет конечное выравнивание при T=100 с 0,648 ± 0,009 до -0,211 ± 0,021 и снижает вредоносность с 19,0% ± 4,0% до 8,5% ± 1,5% с незначительной потерей производительности задачи. Эти результаты подтверждают v_rev как причинно значимый медиатор ранней реверсии после согласования в нашей установке. Важно отметить, что мы не утверждаем, что v_rev является единственным направлением безопасности, ни что доминирующее многообразие наблюдается напрямую; скорее, мы идентифицируем устойчивое, определяемое историей направление, которое объясняет и частично контролирует динамику ранней реверсии.

Инспекция гидроэнергетических туннелей имеет решающее значение для целостности инфраструктуры, однако при использовании ручных методов она остается неэффективной и опасной. Мы предлагаем FLISP (Fast LiDAR-IMU Synchronized Path Planner) — бескартовую систему планирования для кооперативной инспекции с использованием UGV и UAV. В отличие от традиционных картографических парадигм, FLISP включает три ключевых вклада: (1) единую архитектуру, где один комплект LiDAR-IMU, установленный на UGV, обеспечивает синхронизированную генерацию путей для обеих платформ; (2) специализированные решатели для каждой платформы, использующие улучшенный алгоритм светлячков для предотвращения препятствий UGV и динамический итеративный оптимизатор для полета UAV; (3) иерархическую стратегию уточнения, обеспечивающую кинематическую осуществимость без дрейфа оценки состояния. Испытания в эксплуатационном туннеле протяженностью 1,2 км показывают, что FLISP обходит структурные ограничения картографических методов, устраняя накладные расходы на растеризацию карт (Fast-LIO2 + A*) и нестабильность выборки (LIO-SAM + RRT*). FLISP достигает 100% успешности с задержкой 7 мс, что представляет собой ускорение в 7 раз по сравнению с сеточными методами и на три порядка по сравнению с базовыми методами выборки. Апробированный в действующих гидроэнергетических туннелях, данный подход предлагает масштабируемое решение для роботизированной инспекции линейной инфраструктуры с низким качеством характерных признаков. Демонстрационное видео доступно по адресу https://youtu.be/Y_ezs1PfLJ4, а код — по адресу https://github.com/ArchibaldGuo/FLISP.git.

Предварительно обученные фундаментальные модели компьютерного зрения (VFMs) стали основой современного компьютерного зрения благодаря своим мощным семантическим представлениям и высокой способности к обобщению. Однако их выходные данные, получаемые через патрификацию или пулинг, по своей сути имеют низкое разрешение, что ограничивает их эффективность в задачах, требующих детального попиксельного анализа. Существующие методы повышения разрешения признаков либо снижают семантическую точность, либо требуют переобучения под конкретную VFM и использования тяжеловесных архитектур, что препятствует эффективности и масштабируемости. Для решения этих проблем мы предлагаем RaysUp — сверхлегкий, не зависящий ни от задачи, ни от конкретной VFM фреймворк для повышения разрешения признаков, который восстанавливает карты признаков высокого разрешения при произвольных выходных разрешениях. В отличие от традиционных подходов, основанных на двумерной интерполяции или механизмах внимания, RaysUp переносит восстановление признаков в геометрически осмысленную область лучей. В частности, мы вводим пространственно-разделенный направляющий кодировщик для кодирования направляющей информации с учетом направления, механизм крос-внимания произвольного разрешения для гибкого восстановления на любых разрешениях и новое лучевое позиционное кодирование (RayPE), которое встраивает неявные трехмерные геометрические априорные знания посредством 6-мерных лучевых координат Плюккера. Наконец, модуль геометрически-осведомленного внимания к окрестности обеспечивает контентно-адаптивную билатеральную агрегацию при сохранении геометрической согласованности. Обширные эксперименты на различных задачах плотного предсказания демонстрируют, что RaysUp достигает производительности на уровне передовых методов, используя при этом всего 16% параметров AnyUp и обеспечивая примерно в 7 раз более быстрый инференс. Эти результаты подчеркивают существенно улучшенный компромисс между точностью и эффективностью и позиционируют RaysUp как практичное и масштабируемое решение для универсального повышения разрешения признаков. Код доступен по адресу https://github.com/MAP-RaysUp/RaysUp.

Выравнивание представлений стало эффективным подходом для улучшения мультимодальных больших языковых моделей (MLLM) путём регуляризации их внутренних представлений в сторону представлений внешнего визуального энкодера. Однако существующие методы обычно выравнивают фиксированный слой языкового бэкбоуна, игнорируя мелкозернистую структуру трансформерных моделей. В данной работе мы предлагаем выравнивание представлений на уровне голов внимания (Head-Wise Representation Alignment, HeRA) — метод, который обеспечивает кросс-модальное выравнивание на уровне отдельных голов внимания. Наш подход основан на Платонической гипотезе представлений и фокусируется на сохранении топологической структуры представлений (т.е. их локальных отношений соседства) между модальностями. Следуя метрике выравнивания Mutual K-Nearest Neighbor (MKNN), мы вводим контрастивную целевую функцию, которая действует как дифференцируемый прокси для согласования локальных структур. HeRA применяет эту целевую функцию в ходе мультимодального обучения к конкретным головам внимания в LLM, отобранным по показателю их выравнивания согласно метрике MKNN. Вопреки интуиции, мы обнаружили, что выравнивание наименее согласованных голов даёт наибольший прирост. Обширные оценки на нескольких MLLM и 18 бенчмарках демонстрируют, что HeRA стабильно улучшает производительность в сложных задачах, ориентированных на зрение, и служит эффективным регуляризатором против визуальных галлюцинаций, естественным образом сдерживая чрезмерную опору на лингвистические априорные знания. Наш код опубликован в открытом доступе.