Ежедневные статьи

Мы представляем Orca — начальную реализацию общей фундаментальной модели мира. Orca изучает единое латентное пространство мира из мультимодальных мировых сигналов и предоставляет его через мультимодальные интерфейсы считывания. Вместо оптимизации изолированного предсказания следующего токена, следующего кадра или следующего действия мы сосредоточены на моделировании предсказания следующего состояния, предлагая унифицированный путь моделирования переходов между состояниями для понимания, предсказания и воздействия на мир. Orca обучается с помощью двух взаимодополняющих парадигм: бессознательное обучение фиксирует плотные естественные переходы между состояниями из непрерывных видео, а сознательное обучение моделирует разреженные значимые переходы между состояниями на основе событий, описанных на языке, и контроля с помощью VQA. Для предварительного обучения мы создаем крупномасштабные данные для обучения мира, включающие 125 тысяч часов видео и 160 миллионов аннотаций событий. После предварительного обучения Orca получает единое латентное пространство мира. Чтобы проверить, поддерживает ли изученное латентное пространство нисходящие задачи, мы оцениваем его с помощью трех репрезентативных нисходящих выходных интерфейсов: генерации текста, предсказания изображений и генерации воплощенных действий. Бэкбон Orca заморожен, и обучаются только легковесные модально-специфические декодеры. Эксперименты показывают масштабируемость предложенной парадигмы и подтверждают, что более сильное латентное пространство мира позволяет получать более высокое качество нисходящих задач. Orca превосходит специализированные базовые модели аналогичного размера. Эти результаты показывают, что Orca, как общая фундаментальная модель мира, представляет собой многообещающий подход к пониманию, предсказанию и воздействию на мир. Наконец, мы обсуждаем текущие ограничения, стремясь предоставить полезные идеи и вдохновение для сообщества.

Верификаторы программ играют ключевую роль в обучении агентов кодирования, включая отбор траекторий для контролируемой донастройки (SFT) и предоставление вознаграждений для обучения с подкреплением (RL). Стандартная верификация на основе выполнения требует запуска модульных тестов в средах для каждого репозитория, таких как образы Docker, что влечет значительные затраты на настройку окружения. Мы предлагаем Dockerless — бессредовой агентный верификатор патчей, который оценивает сгенерированные патчи кода без их выполнения. Вместо простого сопоставления кандидатов-патчей с эталонами Dockerless судит о корректности патча, используя свидетельства, собранные в ходе агентного исследования репозитория. На бенчмарке для оценки верификаторов Dockerless превосходит сильнейший верификатор с открытым исходным кодом на 14,3 пункта AUC. Использование Dockerless как в качестве фильтра траекторий SFT, так и в качестве вознаграждения RL позволяет создать полностью бессредовой конвейер пост-тренировки. Полученная модель достигает уровней разрешения 62,0%, 50,0% и 35,2% на SWE-bench Verified, Multilingual и Pro соответственно. Она превосходит базовую модель Qwen3.5-9B на 2,4, 8,7 и 2,9 пункта, что соответствует результатам пост-тренировки с использованием среды.

Дистилляция на политике (On-policy distillation, OPD) обеспечивает превосходную передачу способностей за счёт наблюдения траекторий, сэмплированных студентом, с помощью плотных сигналов на уровне токенов. Для создания высококачественных источников супервизии и, как следствие, повышения верхней границы производительности дистилляции интуитивно понятным направлением является внедрение привилегированной информации либо в учителя, либо в самого студента. Однако такой дополнительный вход приводит к потенциальному режиму сбоя, который мы называем иллюзией привилегий: шаблону, смешивающему передаваемый разрыв в способностях, который студент должен устранить, и разрыв информационной асимметрии, который можно только имитировать, но никогда не воспроизвести. Эта проблема усугубляется inherent неоднородностью супервизии на уровне токенов, где лишь небольшое подмножество токенов несёт ключевые сигналы, связанные со способностями. Для решения этой проблемы мы предлагаем DOPD — дуальную парадигму дистилляции с учётом преимуществ, которая динамически распределяет супервизию на уровне токенов между привилегированной политикой учителя и привилегированной политикой студента на основе их разрыва в преимуществах и относительных вероятностей. Каждый токен получает супервизию различной силы, цели и стратегии либо от учителя, либо от самого студента, что передаёт достоверные способности, одновременно получая вспомогательные сигналы для смягчения иллюзии привилегий. Обширные эксперименты как на больших языковых моделях (LLM), так и на моделях «язык-зрение» (VLM) показывают, что DOPD последовательно превосходит Vanilla OPD и другие аналоги. Дополнительные результаты по стабильности, робастности, continual learning и задачам вне распределения подтверждают её превосходство.

Спекулятивное декодирование ускоряет инференс за счет использования легковесной черновой модели для параллельной генерации токенов-кандидатов, которые затем проверяются целевой моделью, обеспечивая без потерь ускорение. Недавно спекулятивное декодирование на основе диффузии дополнительно улучшило параллелизм, генерируя несколько токенов за один прямой проход с помощью блочной диффузии, что позволило достичь передовой производительности (SOTA). Однако существующие методы используют фиксированный размер блока при инференсе и предполагают единую оптимальную стратегию декодирования для всех входных данных. В данной работе мы показываем, что это предположение не является оптимальным, поскольку оптимальный размер блока варьируется в зависимости от выборки и играет ключевую роль в производительности спекулятивного декодирования. Более того, эти значения демонстрируют четкую локальную структуру, концентрируясь вокруг размера блока, используемого при обучении, что сводит задачу к низкоразмерному и структурированному пространству решений. Основываясь на этих выводах, мы предлагаем BlockPilot — адаптивную к выборкам стратегию, которая предсказывает оптимальный размер блока на основе представления фазы префиллинга. В частности, мы формулируем выбор размера блока как задачу обучения легковесной политики и предлагаем инстансно-адаптивный механизм принятия решений, предсказывающий оптимальный размер блока на основе представления фазы префиллинга. Предсказание выполняется только один раз после префиллинга, что обеспечивает бесшовную интеграцию. Обширные эксперименты показывают, что наш метод является подключаемым ("plug-and-play"), вносит минимальные накладные расходы и последовательно повышает эффективность, достигая длины принятия 5.92 и ускорения в 4.20 раза на Qwen3-4B при температуре T=1.

Воплощенные модели «Видение–Язык–Действие» (VLA) обычно получаются путем тонкой настройки мощных предобученных языковых моделей с визуальным входом (VLM) на данных робототехники, однако остается неясным, насколько такие модели сохраняют здравый смысл и фактические знания после адаптации. Ошибки в задачах, чувствительных к знаниям, носят неоднозначный характер: они смешивают нехватку знаний с плохой генерализацией низкоуровневого управления. Мы предлагаем Act2Answer — легковесный протокол, который адаптирует тесты знаний для VLM к оценке VLA, требуя от агентов отвечать через действие. Каждый вопрос превращается в короткий эпизод на столе, где агент совершает единое действие по размещению объекта для выбора одного из вариантов ответа, что дает показатель успешности на основе действий с уменьшенным влиянием фактора управления. Мы формируем набор тестовых сред такого типа для различных категорий здравого смысла и знаний о мире и вводим послойное зондирование намерений для локализации информации, релевантной ответу, в магистрали VLM и в голове действия. В крупномасштабном исследовании 7 моделей VLA и 9 базовых VLM мы систематически ранжируем модели по категориям, обнаруживая, что VLA демонстрируют устойчивую производительность на простых концепциях, но имеют большие разрывы в более насыщенных семантических категориях по сравнению с исходными VLM, что совместное обучение с VQA связано с лучшим сохранением знаний, и что сигналы, релевантные ответу, достигают пика в средних слоях VLA, но ослабевают в верхних слоях. Act2Answer доступен по адресу https://tttonyalpha.github.io/act2answer/.

Трёхмерная сцена воспринимается через её объекты, а не через примитивы, из которых они состоят. Тем не менее, методы прямого реконструирования (feed-forward reconstruction) создают плотные неструктурированные множества точек или гауссианов, оставляя восстановление объектно-уровневой структуры на последующие этапы. Мы предлагаем архитектуру прямого реконструирования, которая разлагает сцену на экземплярно-структурированные группы трёхмерных токенов непосредственно по неопределённым многовидовым изображениям — компактные объектно-центрированные единицы, из которых следуют реконструкция, сегментация и манипуляция. Каждая группа токенов объединяет токен экземпляра, фиксирующий сущностную идентичность, с якорными токенами, кодирующими локальную геометрию и внешний вид, которые декодируются в набор трёхмерных гауссианов. Эта двухуровневая факторизация отделяет идентичность объекта от его локального вида, делая объектные экземпляры естественным интерфейсом представления, а не производным продуктом. Группы токенов обучаются с помощью дифференцируемого рендеринга при совместном контроле реконструкции и сегментации, не требуя трёхмерных аннотаций. Наша модель прямого реконструирования превосходит базовые методы с покадровой оптимизацией (per-scene optimization) в задаче сегментации экземпляров без привязки к классу, оставаясь при этом конкурентоспособной в синтезе новых видов. Помимо этих метрик, те же группы токенов напрямую обеспечивают редактирование сцены на уровне экземпляров — удаление, перемещение или вставку объектов путём манипуляции их группами — а также эффективный трёхмерный поиск экземпляров по открытому словарю, где сложность поиска масштабируется в зависимости от числа экземпляров, а не примитивов.

Визуальные генеративные модели обычно обучаются в два этапа. Сначала обучается токенизатор для реконструкции, после чего он замораживается, и затем генератор обучается на его дискретных индексах или непрерывных латентных представлениях. Такое разделение оставляет токенизатор в неведении относительно того, что генератору легко моделировать. Мы представляем GEAR (Guided End-to-end AutoRegression), который обучает векторно-квантованный (VQ) токенизатор и авторегрессионный (AR) генератор совместно и сквозным образом, направляемый выравниванием представлений. Ключевым препятствием является то, что VQ-индекс, подаваемый на AR-модель, недифференцируем, поэтому градиенты не могут достичь токенизатора, а оценка прямого прохода (straight-through estimator) разрушается. GEAR решает эту проблему с помощью двойного считывания назначения кодовой книги. Жесткая ветвь с one-hot кодированием обучает AR с помощью предсказания следующего токена, в то время как дифференцируемая мягкая ветвь несет потерю выравнивания представлений, которая передается обратно для управления только токенизатором. Таким образом, AR-модель направляет свой токенизатор к распределению индексов, которое она может предсказывать легче. Это переносит бремя выравнивания с токенизатора на AR: собственные признаки токенизатора становятся менее похожими на DINOv2, в то время как признаки AR становятся более похожими — противоположность рецептам со стороны диффузионных моделей, которые делают само латентное представление семантическим. GEAR ускоряет сходимость gFID на ImageNet до 10 раз по сравнению с сильным базовым методом LlamaGen-REPA, обучает значительно лучшие патчевые и пространственно-когерентные признаки, а также обобщается на различные квантователи (VQVAE, LFQ, IBQ) и на генерацию текста в изображение.

Помог бы опыт проектирования более быстрых ядер GPU также приблизиться к решению давно открытой математической гипотезы? Большие языковые модели (LLM), интегрированные в эволюционный поиск, недавно позволили получить передовые решения оптимизационных задач, включая открытые математические гипотезы, проектирование ядер GPU, открытие научных законов и комбинаторные головоломки. Для достижения этого в предыдущих работах применялись поисковые каркасы к одной целевой задаче за раз, так что каждая новая задача решалась с нуля, а накопленный в ходе поиска опыт отбрасывался после завершения попытки модели. Таким образом, способность итеративно развивать решение (например, знание того, какую часть мутировать и как, принятие решения о возврате) полностью остается в каркасе, а не в самой модели. Вопрос о том, может ли сама модель приобрести эту способность и повторно использовать ее в разных задачах, оставался в значительной степени неисследованным. Для решения этой проблемы мы представляем Evolution Fine-Tuning (EFT) — парадигму промежуточного обучения, которая учит LLM развивать решения в различных задачах путем преобразования траекторий эволюционного поиска в обучающие данные. Мы создаем Finch Collection — набор данных из 156 тысяч траекторий, охватывающий 10 областей и 371 оптимизационную задачу, и дообучаем LLM с открытым исходным кодом от 2 до 9 миллиардов параметров. Эмпирически EFT обеспечивает обобщение между задачами: на 22 отложенных задачах наши модели превосходят свои базовые аналоги в среднем на 10,22%. Кроме того, в сочетании с RL во время тестирования наша модель достигает уровня современных результатов на двух задачах упаковки кругов и превосходит свою базовую версию в задаче минимизации пересечений Эрдёша. Таким образом, EFT служит «фазой практики» для универсальных агентов открытий, которые не решают новые задачи с нуля.

Блочные диффузионные языковые модели (BD-LM) улучшают генерацию текста на основе диффузии за счёт кэширования KV и генерации переменной длины. Естественным следующим шагом является их расширение от одноблочной диффузии (SingleBD) к многоблочной диффузии (MultiBD), где одновременно декодируется текущий набор последовательных блоков для обеспечения межблочного параллелизма. Однако существующие BD-LM в основном обучаются с использованием метода принудительного обучения (teacher forcing), при котором модель наблюдает только один зашумлённый блок при условии чистого префикса. Хотя недавняя стратегия принудительной диффузии (diffusion forcing) вводит видимость между несколькими зашумлёнными блоками, её состояния обучения всё ещё отличаются от вывода MultiBD, где декодирование выполняется над ограниченным текущим набором с гетерогенными шумовыми паттернами для отдельных слотов. Чтобы устранить этот разрыв, мы предлагаем многоблочные диффузионные языковые модели (MBD-LM), полученные путём дообучения BD-LM с использованием многоблочного принудительного обучения (MultiTF). MultiTF объединяет принудительное обучение и принудительную диффузию, выполняя обучение на ограниченных группах шума при условии чистых префиксов, с рандомизированными планировщиками шума, которые лучше соответствуют состояниям вывода MultiBD. Чтобы сделать MultiBD практически выполнимым, мы дополнительно вводим оптимизированный алгоритм декодирования на основе механизма блочного буфера (Block Buffer), который сохраняет повторное использование кэша префикса, сохраняет статическими формы входных данных и преобразует повышенный параллелизм декодирования в ускорение времени выполнения. Эмпирически MBD-LLaDA2-Mini увеличивает среднее количество токенов за прямой проход (TPF) с 3.47 до 6.19 и повышает среднюю точность с 79.95% до 81.03%; в сочетании с DMax MBD-LLaDA2-Mini-DMax достигает среднего TPF 9.34 с падением точности всего на 1.02% на тестах по математике и программированию.

Навыки агентов расширяют возможности языковых моделей за счет реализации специфичных для задач процедур, сценариев и справочных материалов, однако решаемые задачи и целевые среды постоянно меняются. Существующие методы совершенствуют навыки в ограниченных прогонах, сохраняя лишь конечный артефакт и отбрасывая историю принятия решений, которая необходима последующим агентам для интерпретации предыдущих правок, оценок и отвергнутых альтернатив. Мы представляем SkillHone — среду для непрерывной эволюции навыков агентов, основанную на постоянном хранении истории решений. SkillHone связывает правки навыков с оценочными свидетельствами, обеспечивающими практическую обратную связь, и записывает структурированные истории диагнозов, правок, свидетельств и результатов. Разделенные по ролям под-агенты запускают кандидатные навыки на практических пробах с редуцированной отчетностью и предлагают правки на основе предыдущих решений, что позволяет выполнять межсессионную доработку без повторного поиска утраченных обоснований. На бенчмарках глубокого исследования SkillHone работает без предварительно интегрированного поискового стека и превосходит коммерчески поддерживаемого агента глубокого исследования на 15,8 пунктов по GAIA и на 3,2 пункта по WebWalkerQA-EN, а также превосходит предыдущие методы эволюции навыков. Мы также развернули SkillHone на внутренних сценариях анализа с применением инструментов, где он повышает точность в среднем на 18,8 пунктов в семи конфигурациях.

Видеомировые модели — это интерактивные генеративные модели видео, которые предсказывают будущие состояния мира на основе действий пользователя и предыдущих кадров видео. Ключевая проблема видеомировых моделей — недостаток памяти, приводящий к несогласованности генерируемых сцен в течение длительных временных промежутков. Ранее применялись методы, основанные на правилах извлечения контекстных кадров в качестве памяти, однако они не справляются со сценариями, включающими затемнения сцен и динамические объекты. Мы предлагаем MemLearner — основанный на обучении метод адаптивного запроса контекста, использующий токены запроса для связи контекстных и прогнозируемых токенов. Используя саму модель генерации видео для выполнения запросов контекста, MemLearner задействует предварительно обученные визуальные априорные знания без необходимости обучать дополнительные модули с нуля, а также включает эффективные стратегии для обучения и инференса. Мы собрали набор данных длинных видеороликов с затемнениями сцен и динамическими объектами, снабжённых аннотациями положения камеры, и предложили стратегию мультидатасетного обучения, использующую как аннотированные рендеренные, так и неаннотированные реальные видео. Эксперименты показывают, что MemLearner значительно превосходит предыдущие видеомировые модели по согласованности сцен и памяти, особенно в сложных сценариях с затемнениями и динамикой.

Генерация изображений с насыщенным текстом является одной из наиболее сложных задач в области генерации изображений, поскольку модели должны одновременно создавать визуально реалистичные изображения и воспроизводить разборчивый, семантически согласованный и соответствующий макету текст. Существующие конвейеры данных обычно следуют статической парадигме «сбор — фильтрация — заморозка». Они собирают образцы-кандидаты, однократно фильтруют их и фиксируют принятые данные для обучения. Однако отклонённые образцы, как правило, отбрасываются, хотя они часто содержат полезные сигналы об ошибках, такие как ошибки OCR и семантические несоответствия. В результате последующие циклы построения могут повторять те же сценарии сбоев. Чтобы устранить эти ограничения, мы предлагаем DataEvolver — саморазвивающуюся мультиагентную систему для построения данных для генерации изображений с насыщенным текстом. DataEvolver рассматривает построение данных как эволюцию политики построения на основе обратной связи. Поисковик собирает образцы-кандидаты, верификатор назначает оценки качества и причины отклонения, критик обобщает обратную связь на уровне раунда в семантическую обратную связь, а генератор заполняет недостаточно охваченные области с помощью целевого синтеза. Обновлённая память обратной связи затем направляет следующий раунд построения. Эксперименты на эталонных тестах генерации изображений с насыщенным текстом показывают, что DataEvolver производит более полезные обучающие данные, чем базовые методы с фиксированным набором данных, при сопоставимых бюджетах данных. В масштабе 0,75 млн на PixArt-alpha DataEvolver улучшает OCR-F1 по сравнению с сильнейшим базовым методом на 85,3% на TextScenesHQ и на 35,3% на LongTextBench. Улучшения согласованно наблюдаются на обоих оцениваемых эталонных тестах и переносятся на Show-o2, что указывает на то, что преимущество DataEvolver не привязано к одному конкретному генератору нижнего уровня. Эти результаты позволяют предположить, что отклонённые образцы могут предоставлять действенную обратную связь для улучшения построения данных для изображений с насыщенным текстом.

Метакогниция является критическим компонентом интеллекта, описывающим способность отслеживать и регулировать собственные когнитивные процессы. Однако большие языковые модели (LLM) демонстрируют системные недостатки в ключевых метакогнитивных способностях: они галлюцинируют с высокой уверенностью, не распознают границы собственных знаний и искажают внутреннюю неопределенность — что подрывает их надежность и достоверность. Поскольку мониторинг производительности при выполнении задач и адаптация поведения на его основе являются центральными для метакогниции, мы предполагаем, что модели, способные точно оценивать собственную производительность, имеют больше возможностей для её улучшения. Мы операционализируем эту идею с помощью двух новых механизмов: обучения с подкреплением с метакогнитивной обратной связью (RLMF) — парадигмы для уточнения ранжирования завершений во время оптимизации предпочтений на основе качества самооценки моделью собственной производительности — и метакогнитивного отбора данных, который использует аналогичные самооценки для выявления высокоценных обучающих примеров, превосходя наивное активное обучение. Мы применяем эти инновации к задаче верной калибровки (FC), которая сама по себе является фундаментально метакогнитивной: цель состоит в согласовании выражаемой неопределенности с внутренней — это трудно даже для передовых LLM. Мы принимаем двухэтапный развязанный подход, сначала используя эти методы для калибровки достоверности сообщаемых моделью показателей уверенности, а затем переходя к естественной, контекстно-адаптируемой лингвистической неопределенности посредством целенаправленного редактирования выходных данных. Обширные эксперименты показывают, что RLMF достигает обобщаемой, передовой верной калибровки на разнообразных задачах, сохраняя при этом точность. Более того, RLMF превосходит стандартное обучение с подкреплением на величину до 63%, одновременно улучшая способность моделей оценивать и выражать собственные границы возможностей. Это позиционирует RLMF как перспективную парадигму для улучшения метакогниции LLM с целью повышения их способностей и согласованности, а также предполагает, что метакогнитивная производительность может служить эффективным сигналом подкрепления для преодоления ограничений предыдущих методов внутренней обратной связи.

Процедурная память все чаще используется для улучшения LLM-агентов в повторяющихся рабочих задачах, однако ее способность формировать многократно используемые навыки остается слабо изученной. Мы представляем AFTER — бенчмарк из 382 реалистичных корпоративных задач, охватывающих шесть профессиональных ролей и 22 процедурных навыка, разработанный для оценки переноса навыков между задачами, ролями и базовыми моделями. Бенчмарк включает контролируемые сценарии оценки: локальное улучшение, перенос между задачами, перенос между ролями и кросс-модельное обобщение. Эксперименты показывают, что процедурная память обеспечивает стабильный прирост в промышленных рабочих процессах: один раунд уточнения повышает совокупную производительность на 3,7–6,7 пункта, а навыки, выработанные на основе разнородных следов выполнения на нескольких моделях, достигают 73,1% точности кросс-модельного тестирования, превосходя все источники следов от одной модели. Кроме того, мы обнаружили, что одни навыки хорошо обобщаются на различные задачи и модели, тогда как другие специализируются под ролевые рабочие процессы и теряют эффективность при переносе. Эти результаты дают практические рекомендации по созданию, оценке и развертыванию систем процедурной памяти в производственных платформах для агентов.

Разнообразие в математических рассуждениях больших языковых моделей (LLM) имеет решающее значение для исследования, однако распространённые метрики разнообразия в основном отражают поверхностные вариации, а не различия в способах решения задачи. Мы восполняем этот пробел, вводя понятие разнообразия на уровне подходов: вариативность стратегий в рамках корректных решений одной и той же задачи. Используя откалиброванную человеком модель LLM-судьи, мы показываем, что существующие меры разнообразия являются ненадёжными прокси для разнообразия на уровне подходов, и это несоответствие переносится на RLVR (обучение с подкреплением на основе проверки вознаграждения), учитывающее разнообразие: целевые метрики сохраняются, тогда как разнообразие на уровне подходов снижается. Исследуя, когда разнообразие подходов полезно и можно ли его напрямую индуцировать, мы обнаруживаем, что наборы кандидатов с разнообразием подходов улучшают масштабирование во время тестирования. Однако оптимизация вознаграждения за разнообразие, вычисляемого LLM-судьёй, в процессе обучения приводит к тому, что политика использует специфические предпочтения судьи, а не расширяет собственные подходы, что оставляет прямую оптимизацию разнообразия на уровне подходов открытой проблемой. В совокупности наша работа вводит понятие разнообразия на уровне подходов и выявляет систематическое расхождение между сигналами поверхностного уровня и уровня подходов, что становится шагом к созданию LLM, способных рассуждать по-настоящему разнообразными, подобными человеческим способами.

Фотомозаики — это крупные изображения, локальные области которых воспринимаются как независимые тайлы, а их общая компоновка формирует целостную сцену. Генерация таких изображений с высоким разрешением, где каждый тайл убедителен сам по себе, требует больших вычислительных затрат, поскольку холст должен одновременно содержать множество детализированных тайлов. Мы представляем PhotoQuilt — структуру, не требующую обучения, которая создает фотомозаики произвольного разрешения. Диффузионные модели с трудом удовлетворяют обоим масштабам одновременно: прямая генерация высокого разрешения затратна и скорее приводит к одному гладкому изображению, а не к мозаике, тогда как тайловая генерация сохраняет локальные детали, но теряет глобальную структуру. PhotoQuilt решает эту проблему с помощью процедуры шумоподавления по тайлам с начальной загрузкой. Сначала мы создаем глобальную композицию с низким разрешением для фиксации макета, затем масштабируем её в латентном пространстве и повторно вводим шум для восстановления генеративной способности. Шумоподавление происходит внутри фиксированных тайлов, так что каждый формирует собственное изображение, а общая глобальная структура удерживает их в едином макете. Поскольку генерация тайлов обрабатывается отдельно, PhotoQuilt масштабируется до больших холстов без квадратичной стоимости внимания. Эксперименты показывают, что PhotoQuilt превосходит текущие базовые модели как по глобальной структуре, так и по локальному реализму.

Модели, способные обрабатывать речь, всё чаще используются в реальных приложениях на разных языках. Однако их безопасность и справедливость за пределами английского языка и в естественных условиях остаются недостаточно изученными. Мы анализируем практики отчётности о безопасности при выпуске современных речевых моделей и обнаруживаем, что только 8% из них содержат какой-либо многоязычный анализ. Для устранения этого пробела мы представляем RedVox — многоязычный бенчмарк безопасности и справедливости для аудио и речи, построенный на реальных голосах и охватывающий небезопасные и несправедливые стереотипные запросы на пяти языках (английском, французском, итальянском, испанском и немецком). Оценив восемь современных моделей, мы выясняем, что уязвимости сохраняются даже в не-состязательных условиях, усиливаются на языках, отличных от английского, и возрастают, когда запрос поступает в виде устного ввода. Наконец, опросив участников, внесших вклад в RedVox, мы документируем уникальные личностные и конфиденциальностные проблемы сбора речевых данных с участием людей, что указывает на более широкие социотехнические вызовы в области исследований естественной речевой безопасности.

По мере того как видеокорпуса продолжают расширяться как по масштабу, так и по сложности задач, возрастает потребность в подходах, позволяющих извлекать релевантные видео из крупномасштабных корпусов (рассуждение между видео) и затем выполнять тонкую, обусловленную запросом обработку внутри извлечённого контента (рассуждение внутри видео), например, временную привязку. Однако существующие подходы, как правило, рассматривают извлечение как этап предварительной обработки, и поэтому при неудаче начального поиска отсутствует механизм его уточнения, что приводит к сбою последующего детального рассуждения внутри видео. Кроме того, хотя недавние агентные фреймворки продвинули понимание видео, они обычно предполагают, что релевантное запросу видео уже задано, и сосредотачиваются исключительно на задачах рассуждения внутри видео. Для преодоления этих ограничений мы предлагаем VideoSearch-R1 — агентный фреймворк для итеративного поиска и анализа видео через многократное взаимодействие с поисковой системой видео. В частности, мы вводим мягкое уточнение запроса (SQR), которое позволяет уточнять токены поискового запроса в непрерывном латентном пространстве, а не переписывать запросы в дискретном текстовом пространстве, обеспечивая более эффективные и точные настройки. SQR и процесс его рассуждения обучаются с помощью оптимизации политики на основе относительных групп (GRPO), направляемой сигналами вознаграждения на уровне задачи, получаемыми из задач поиска и последующей обработки. На этой основе VideoSearch-R1 достигает передовых результатов на трёх наборах данных по задаче поиска моментов в корпусе видео (VCMR), итеративно извлекая видео из крупномасштабных корпусов, уточняя поисковые запросы и выполняя точную временную привязку внутри извлечённого контента. Наш анализ показывает, что SQR эффективно уточняет исходный запрос, требуя значительно меньше сгенерированных токенов, чем явное текстовое уточнение запроса. Код и контрольные точки модели доступны публично по адресу mlvlab.github.io/VideoSearch-R1.

Графические пользовательские интерфейсы (GUI-агенты) строятся на основе моделей "зрение-язык" для сквозного выполнения пользовательских задач в реальных приложениях с помощью таких интерфейсных действий, как нажатие, смахивание, ввод текста и навигация. Однако существующие GUI-агенты в основном обучаются и оцениваются на офлайн-траекториях, симулированных средах и стандартизированных бенчмарках. Они существенно отличаются от реальных приложений по структуре интерфейса, логике взаимодействия и распределению аномальных состояний, а также не могут достоверно характеризовать стабильность выполнения в реальном использовании, где состояния аккаунтов, диалоговые окна разрешений, платежная аутентификация и контроль рисков непрерывно изменяют распределение состояний и создают постоянный разрыв между показателями бенчмарков и реальной пригодностью. Чтобы устранить этот разрыв, мы предлагаем Xiaomi-GUI-0 — нативный мультимодальный GUI-агент для реальных мобильных сред, обученный и оцененный в замкнутом цикле на реальных устройствах. Его основой является гибридная инфраструктура с доминированием реальных устройств, где физические устройства выступают в качестве основной среды выполнения, а песочницы оказывают вспомогательную поддержку, так что сбор данных, обучение, развёртывание и оценка разделяют распределение выполнения, близкое к реальному развёртыванию. Мы конструируем многоисточниковые обучающие данные, охватывающие высокочастотные головные задачи, данные высокой обобщаемости для длиннохвостых интентов и данные для улучшения способностей к рефлексии и памяти, а также внедряем управляемый ошибками цикл данных, превращающий траектории неудач в исправленные действия, объяснения с рефлексией и демонстрации восстановления. Модель обучается с помощью прогрессивного трехэтапного конвейера: обучение с учителем, пошаговое обучение с подкреплением и агентное обучение с подкреплением. Оцененная на публичных бенчмарках и нашем внутреннем RealMobile, Xiaomi-GUI-0 достигает 72,0% успеха на RealMobile и 78,9% на AndroidWorld, при этом значительно улучшая стабильность выполнения и распознавание аномальных состояний в реальных задачах.

Многофункциональные роботы обещают скорость и ловкость человеческих рук, однако сложные задачи, такие как точная сборка, остаются недостижимыми. Эти задачи требуют работы с контактами, что затрудняет сбор данных для обучения с подражанием, и имеют разреженное вознаграждение, что делает прямое исследование с помощью обучения с подкреплением (RL) невыполнимым. В результате предыдущие работы добивались прогресса, структурируя задачу с помощью специализированных захватов, насадок для инструментов и элементов окружающей среды. В данной работе мы утверждаем, что прежде чем робот сможет овладеть точной сборкой, он должен сначала научиться играть. Мы также задаём вопрос: какие факторы в процессе обучения игре важны для точной сборки? Мы предлагаем Play2Perfect — фреймворк RL для независимой от задачи предварительной подготовки через игру с разнообразными объектами и целями, который затем совершенствуется для точной сборки. Цель игры — приобрести повторно используемые манипуляционные приоры, такие как захват, переориентация в руке и достижение позы. Затем дообучение адаптирует этот общий приор к сборке, фокусируя исследование на финальных контактных высокоточных взаимодействиях, необходимых для успеха. Мы систематически изучаем ключевые проектные решения в предварительной подготовке через игру, включая разнообразие объектов, цель обучения, разнообразие траекторий и точность цели. Мы показываем, что наш приор в 33 раза более эффективен по данным, чем обучение RL с нуля, даже при наличии плотных многоэтапных вознаграждений. Мы демонстрируем перенос из симуляции в реальность без дополнительного обучения, достигая 60% успеха при плотной вставке с зазором всего 0,5 мм и более 50% успеха при многоэтапной сборке и завинчивании нескольких деталей.

Хотя в последнее время большие языковые модели доминируют в исследовательском ландшафте, малые языковые модели остаются востребованными в различных областях, однако им уделяется гораздо меньше внимания. В данном исследовании мы изучаем, как малые языковые модели функционируют на этапе генерации в рамках системы генерации с дополнением извлечением (Retrieval-Augmented Generation, RAG). Для эффективного бенчмаркинга этих моделей мы использовали как открытые, так и проприетарные наборы данных, охватывающие различные предметные области и типы вопросов. Наши результаты показывают, что RAG-систему с малыми языковыми моделями можно запускать непосредственно на устройстве без необходимости в каком-либо аппаратном обеспечении GPU за приемлемое время. Экспериментальный код и ссылки на дополнительные материалы доступны в репозитории GitHub: https://github.com/SibNN/SLM-RAG-EVAL.

Агенты на основе LLM все чаще действуют в долгосрочных горизонтах, где одна траектория может содержать сотни или тысячи действий. В таких условиях вознаграждения, основанные только на конечном результате, обеспечивают слишком разреженное руководство, не сообщая модели о качестве промежуточных действий. Методы плотной обратной связи направлены на решение этой проблемы путем оценки промежуточных шагов, начиная от внутренней уверенности и заканчивая самодистилляцией и сходством эмбеддингов. Однако общепринятой практикой является оценка этих методов путем измерения производительности на последующих задачах в рамках тренировочного пайплайна, который их интегрирует. Это дорого, смешивает качество обратной связи с инженерными смешивающими факторами обучения и делает несравнимыми различные методологические семейства, требующие разных конфигураций обучения. В результате методы плотной обратной связи редко сравниваются на общей основе. Мы представляем QVal — тестовый стенд, не требующий обучения, для прямой оценки сигналов плотной обратной связи. Для пары состояние-действие QVal измеряет, насколько оценка метода является Q-согласованной: упорядочивает ли она действия в соответствии с Q-значениями сильной эталонной политики. Это позволяет сравнивать сигналы до любого тренировочного запуска и отделять качество сигнала от других инженерных решений. Мы реализуем QVal как QVal-v1.0, сравнивая 21 метод плотной обратной связи в четырех различных средах и семи методологических семействах, проведя более 1200 оценочных экспериментов на шести базовых моделях с открытыми весами. Мы обнаружили, что простые базовые методы с подсказками последовательно превосходят недавние методы плотной обратной связи из литературы, и что производительность сильно группируется по семействам. Эти результаты справедливы для различных размеров моделей, сред и модальностей наблюдений. QVal спроектирован так, чтобы его можно было легко расширять на новые среды и методы, позволяя исследователям итеративно улучшать методы плотной обратной связи до любого тренировочного запуска.

Авторегрессионные трансформеры доминируют в высококачественной генерации сеток, создавая топологии, соответствующие профессиональным художественным стандартам, однако присущее им последовательное декодирование порождает значительные вычислительные накладные расходы, делая их на порядки медленнее параллельных генеративных моделей. С другой стороны, хотя непрерывные методы диффузии и согласования потоков поддерживают эффективный параллельный синтез в различных областях, их невозможно напрямую применить к сеткам: связность сетки по своей природе дискретна и несовместима со стандартными операциями непрерывного добавления и удаления шума. Для устранения этой фундаментальной несовместимости мы вводим компактный встраиватель топологии, который проецирует дискретные позиции вершин сетки и нормали в непрерывные повершинные вложения, где исходная дискретная информация об смежности может быть достоверно восстановлена с помощью пороговой фильтрации по пространственно-временному расстоянию. После предварительного обучения и замораживания этого встраивателя любая исходная сетка может быть полностью преобразована в непрерывное повершинное пространство состояний, объединяющее позицию, нормаль и неявные топологические атрибуты. Основываясь на этом новом непрерывном представлении сетки, мы представляем PolyFlow — основанную на трансформере систему согласования потоков, которая обеспечивает полностью параллельное удаление шума из состояний вершин, обусловленное извлеченными признаками облака точек. Во время инференса наша модель быстро завершает генерацию с помощью решателя ОДУ и поддерживает явный и точный контроль над разрешением выходной сетки путем прямого указания целевого количества вершин. Обширные оценки на эталоне Toys4K показывают, что PolyFlow превосходит современные авторегрессионные базовые модели как по расстоянию Чамфера, так и по расстоянию Хаусдорфа.

Литература по материаловедению содержит десятилетия экспериментальных знаний, закодированных в рисунках, однако этот визуальный архив остается недоступным для ИИ в масштабе. Основная сложность структурная: большинство научных рисунков являются составными, когда одна подпись одновременно описывает несколько подпанелей, что делает прямое сопоставление изображения и текста ненадежным. Мы представляем MatMMExtract — сквозной конвейер с открытым исходным кодом, который решает эту проблему путем декомпозиции составных рисунков на отдельные подпанели и генерации структурированных обоснованных аннотаций с использованием большой языковой модели, направляемой курируемой таксономией материаловедения. Примененный к 14 810 статьям открытого доступа, MatMMExtract создает MatSciFig: 391 606 пар «изображение–текст» на уровне подпанелей из 180 571 рисунка, каждая из которых снабжена подзаголовком, двухуровневой категорией визуализации, охватывающей 19 классов и более 100 подтипов, и научным резюме. Для точной локализации подпанелей мы вводим MaterialScope — набор данных для обнаружения в предметной области, состоящий из 2 811 вручную аннотированных рисунков из материаловедения, на котором тонко настроенный детектор YOLO12-m достигает mAP_50 0,9227. Среди шести протестированных языковых моделей Gemini 3.1 Flash Lite обеспечивает наилучшее соотношение стоимости и качества для генерации аннотаций: 82% выходных данных оценены как хорошие, а уровень галлюцинаций составляет 4,8%. Базовый подход двухкодерного поиска на MatSciFig демонстрирует улучшение R@1 в 4,4 раза по сравнению с Zero-Shot CLIP, что доказывает непосредственную полезность набора данных для обучения визуально-языковым моделям. Все ресурсы открыто публикуются для сообщества.

Агентное обучение с подкреплением требует присвоения кредита действиям, направленным на взаимодействие со средой, таким как поиски, клики, правки, команды навигации и взаимодействие с объектами. Стандартный метод GRPO использует итоговый результат верификатора как единое преимущество для всех токенов действий. Этот сигнал исхода полезен, но структурно неполон: он наказывает полезное исследование в неудачных развёртываниях и усиливает избыточные или регрессивные действия в успешных развёртываниях. Мы предлагаем TRIAGE — фреймворк ролевой типологии кредита, который добавляет ось семантической роли к кредитному исходу. Структурированная система оценки классифицирует каждый сегмент как решительный прогресс, полезное исследование, инфраструктуру без прогресса или регрессию, а фиксированное правило, обусловленное ролью, отображает эти метки в ограниченные процессные вознаграждения на уровне сегментов. Это сохраняет исходы верификатора как источник направления оптимизации, исправляя при этом два основных слепых пятна кредита, основанного только на исходе. Далее мы показываем, что кредит, обусловленный ролью, является оптимальной коррекцией на уровне сегментов, выразимой только на основе меток ролей — проекцией остатка преимущества на сегмент на переменную роли, — так что фиксированные ролевые константы уменьшают ошибку оценки преимущества, когда судья надёжен, и связываем это с градиентами политики с меньшей дисперсией. В средах ALFWorld, Search-QA и WebShop TRIAGE улучшает показатели успешности по сравнению с GRPO для двух моделей политики и превосходит как скалярное процессное вознаграждение, полученное от судьи, так и базовый уровень общей ценности, контролируемый исходом. Абляции показывают, что выигрыш обусловлен ролевой типизацией, а не просто добавлением плотных вознаграждений: надёжное обнаружение регрессии внутри успешных траекторий является доминирующим фактором, в то время как кредит за исследование обеспечивает последовательный вторичный прирост; на завершённых развёртываниях ALFWorld и WebShop TRIAGE также сокращает количество взаимодействий со средой на дополнительные 10,4% и 14,8% относительно GRPO.

Моделирование двунаправленного соответствия между внешними сенсорными стимулами и внутренней нейронной активностью стало ключевым направлением в нейронауке. Однако существующие подходы в основном рассматривают кодирование и декодирование мозга как изолированные задачи, полагаясь на унилатеральное выравнивание и внешние априорные знания, при этом игнорируя внутреннюю природу мозга как мультимодальной интеграционной системы. Для преодоления этих ограничений мы предлагаем BrainJanus — первую унифицированную модель мозга, объединяющую мозг, зрение и язык в рамках единой архитектуры. В частности, мы вводим Унифицированный токенизатор мозга (Unified Brain Tokenizer) для квантования непрерывной нейронной динамики в дискретные токены, согласованные с визуальными и лингвистическими представлениями в общем пространстве Omni. На этой основе мы используем архитектуру All-in-One авторегрессии, которая с помощью предсказания следующего токена обеспечивает плавную генерацию «любой-с-любым», охватывающую кодирование типа «изображение-в-мозг» и «текст-в-мозг», а также декодирование «мозг-в-изображение» и «мозг-в-текст». Многочисленные эксперименты демонстрируют, что BrainJanus достигает превосходных результатов на различных тестовых задачах. Кроме того, наша модель обладает способностью к нулевому обучению (zero-shot generalization) и сохраняет интерпретируемую биологическую топографию, что подчеркивает её потенциал как универсальной парадигмы моделирования мозга. Код доступен по адресу: https://github.com/HaitaoWuTJU/BrainJanus{GitHub}.

Современные большие языковые модели (LLM) полагаются на обучение с подкреплением на этапе пост-тренировки для усиления конкретных способностей, однако интеграция множества способностей в одну модель остаётся сложной задачей. Существующие методы, такие как Off-Policy Finetune и Mix-RL, либо неэффективны, либо теряют производительность. В данной работе мы предлагаем многокомпонентную внутриполитическую дистилляцию (MOPD) — парадигму пост-тренировки для объединения способностей нескольких предметно-ориентированных RL-учителей: сначала мы проводим специализированное RL для каждой предметной области, получая набор учителей, а затем дистиллируем этих учителей в ученика на его собственных траекториях. Это устраняет смещение экспозиции и обеспечивает плотный оптимизационный сигнал. На модели Qwen3-30B-A3B MOPD превосходит базовые методы Mix-RL, Cascade RL, Off-Policy Finetune и Param-Merge, сохраняя практически все способности каждого учителя. MOPD также допускает параллельную и независимую разработку предметно-ориентированных учителей, устраняя межпредметную связанность, характерную для многопредметной пост-тренировки. MOPD был внедрён в пост-тренировку MiMo-V2-Flash — промышленной модели передового уровня, что демонстрирует его практическую ценность для интеграции способностей в LLM передового масштаба.

Генерация аудио и видео в последнее время привлекла беспрецедентное внимание исследователей, будучи направленной на синтез высококачественного видеоконтента со звуком с мелкозернистой синхронизацией и семантическим согласованием слуховых и визуальных компонентов. Предшествующие методы в основном используют двухветвевую архитектуру с отдельными модулями токенизации и генерации для каждой модальности, игнорируя разрыв представлений и требуя интенсивных вычислительных ресурсов для надлежащего обучения. Вдохновленные недавними достижениями в одномерной визуальной токенизации, мы представляем AVTok — новый унифицированный токенизатор, предназначенный для целостной генерации аудио и видео. AVTok использует двухпоточную архитектуру на основе трансформера с общим кодером-декодером и обучаемыми запросами, специфичными для модальности, что позволяет эффективно и результативно кодировать пару аудио-видео в компактное одномерное латентное представление с единой кодовой книгой. Чтобы справиться с дисбалансом гетерогенной информации, который мешает AVTok использовать согласованную аудиовизуальную информацию, мы разрабатываем иерархическую стратегию обучения для постепенной реализации возможностей реконструкции для каждой модальности. Обширные эксперименты показывают, что AVTok превосходно справляется как с реконструкцией аудио и видео, так и при интеграции в нижестоящие конвейеры для генерации аудио из видео, видео из аудио и условной по классам совместной генерации аудио и видео. AVTok прокладывает путь к решению задачи совместной токенизации аудио и видео и предлагает потенциальное направление для создания унифицированных больших мультимодальных моделей для генерации аудио и видео.

Генеративные модели достигли значительных успехов, однако их применение к спутниковым снимкам остаётся сложной задачей. В отличие от изображений природных сцен, спутниковые сцены структурированы пространственно сложными и семантически различающимися геометриями. Предшествующие работы решали эту сложность путём адаптации фреймворков для обработки естественных изображений с использованием плотных растров или разреженных подсказок, что приводит к компромиссу между затратами на аннотацию и точностью, нарушая совместимость с векторными примитивами, обычно применяемыми для представления географической информации. Мы представляем TerraDiT-Ω — единую систему пространственного контроля, которая генерирует спутниковые снимки непосредственно из любых нативных геопространственных примитивов. Совместно используя точные аннотации (полигоны, полилинии) и более грубые (ограничивающие прямоугольники, точки), модель поддерживает управляемые компоновки при различных бюджетах аннотации, расширяя применимость к задачам проектирования, таким как городское планирование, и оставаясь естественно совместимой с комплексными GeoAI-конвейерами. Для эффективного использования этих примитивов в процессе генерации мы предлагаем механизм Geometry-Aware Local Attention — метод кондиционирования, который вводит явные геометрические подсказки в пространство внимания. На всех форматах кондиционирования наш подход стабильно превосходит как базиcы с плотным управлением, так и с разреженным. Кроме того, эта гибкость позволяет осуществлять контролируемое синтетическое дополнение данных с помощью одной генеративной модели, улучшая downstream-производительность на задачах сегментации земного покрова, обнаружения объектов, извлечения дорожных графов и классификации сцен. Код, данные и веса доступны по адресу https://github.com/mvrl/TerraDiT.

Фундаментальные модели преобразили обработку изображений и языка, обеспечивая богатые, многократно используемые представления, переносимые на разнообразные задачи. Нотная запись, как визуальное кодирование музыкального языка, не имеет столь мощной предметно-ориентированной базовой архитектуры. Мы представляем MuSViT (Music Score Vision Transformer): первую фундаментальную модель компьютерного зрения для представления нотных знаков — кодировщик ViT, предварительно обученный с помощью маскированных автоэнкодеров на 9,7 миллиона страниц из IMSLP. Чтобы справиться со сложностью реальных партитур, мы применяем двухэтапный учебный план: синтетическая разминка на набранных партитурах с последующим масштабным обучением на полном корпусе IMSLP. Мы оцениваем MuSViT на четырех последующих задачах — распознавание нотной записи на уровне страницы и на уровне строк нотоносца, обнаружение музыкальных символов и классификация сложности партитуры — в двух сценариях: линейное зондирование (замороженный кодировщик) и тонкая настройка. При линейном зондировании MuSViT последовательно превосходит современные кодировщики зрения, показывая, что универсальные представления, независимо от масштаба, систематически не достигают структурированных символических свойств музыкальной нотации. При тонкой настройке MuSViT в целом улучшает специализированные методы, достигшие современного уровня. Дополнительный анализ согласованности эмбеддингов и транскрипций показывает, что MuSViT кодирует символическую музыкальную структуру непосредственно в своем пространстве представлений — в отличие от других кодировщиков, чьи эмбеддинги не коррелируют с содержанием нотной записи. Эти результаты утверждают MuSViT в качестве фундаментального каркаса для понимания нотной записи.

Современные операционные системы предоставляют интерфейсы, оптимизированные для пользователей-людей, но не для агентов ИИ. Люди извлекают пользу из пикселей, значков, окон, визуальной группировки, движений мыши и сочетаний клавиш; агентам ИИ, напротив, требуются компактное семантическое состояние, обоснованные действия и надёжная обратная связь. В результате многие агенты, работающие с компьютером, вынуждены интерпретировать скриншоты, результаты OCR и визуальные выделения, что приводит к высоким затратам токенов, визуальной неоднозначности, задержкам и неопределённости координат. В этой статье представлен LUMOS (Language Model Unified Machine-Readable Operating-System Semantics — семантика операционной системы, читаемая машиной и унифицированная для языковой модели) — семантический слой взаимодействия между агентами ИИ и операционными системами. LUMOS преобразует нативные метаданные доступности и структуры пользовательского интерфейса браузеров в машиночитаемые семантические схемы со стабильными идентификаторами, ролями, именами, значениями, границами и возможностями действий. Он также поддерживает динамическую привязку семантического указателя путём запроса элемента интерфейса под курсором или рядом с ним через API автоматизации операционной системы. Затем большая языковая модель действует в рамках цикла наблюдения и действий, основанного на доступности, используя ограниченные видимые примитивы интерфейса, а не специфичные для приложений скрипты. LUMOS не претендует на замену визуальных агентов; вместо этого он уменьшает зависимость от скриншотов в тех случаях, когда операционные системы уже предоставляют семантическую структуру. Эти результаты указывают на путь к созданию операционных систем, ориентированных на ИИ, и машиночитаемых слоёв взаимодействия.

Мы представляем SWE-Interact — новый тестовый полигон для оценки кодирующих агентов на многошаговых, интерактивных, управляемых пользователем задачах программной инженерии. Существующие передовые SWE-бенчмарки, как правило, предоставляют полные требования заранее и оценивают агентов по автономной реализации. В отличие от этого, SWE-Interact помещает агентов в реалистичный рабочий процесс разработчика: тщательно спроектированный симулятор пользователя начинает с нечетких или неполных инструкций, постепенно раскрывает требования, проверяет рабочее пространство агента и предоставляет целевую обратную связь, уточнения и новые ограничения до тех пор, пока полная цель задачи не будет передана. Основанный на крупномасштабных исследованиях реальных взаимодействий кодирующих агентов, этот подход проверяет, могут ли агенты выявлять намерения пользователя, адаптироваться к изменяющимся требованиям и опираться на свою предыдущую работу. На наборе передовых моделей и моделей с открытыми весами мы обнаруживаем, что высокая производительность на одношаговых SWE-задачах надежно не переносится на многошаговые, управляемые пользователем рабочие процессы: самые эффективные модели решают примерно 50% одношаговых базовых задач, но только 25% соответствующих задач SWE-Interact. Сильнейшие модели в нашей оценке, включая Opus 4.8 и GPT 5.5, начинают уверенно даже при нечетких начальных инструкциях, проявляют настойчивость, пока все требования не будут раскрыты пользователем, лучше интегрируют их и пишут чистый код. Однако они все еще страдают от излишне автономного кодирования, забывания требований и технических ошибок. Более слабые модели начинают плохо в условиях неопределенности, рано сдаются, забывают или игнорируют инструкции и чаще переписывают свой код. В целом, SWE-Interact измеряет ортогональную ось реальных возможностей для разработки передовых моделей: интерактивное выявление целей и итеративное уточнение с участием пользователя в цикле.

Широко используются библиотеки и инструменты с открытым исходным кодом, однако поддержание совместимости обходится дорого. Когда мейнтейнеры уходят, полезные репозитории могут перестать работать по мере эволюции сред выполнения и зависимостей. Мы изучаем, могут ли агенты на основе LLM адаптировать старые репозитории к современным средам — задачу, которую мы называем спасением совместимости. В отличие от исправления ошибок, спасение совместимости начинается с репозитория, который работал в своей исходной среде, но перестаёт работать после дрейфа экосистемы. RepoRescue предоставляет агентам только репозиторий и его неработающую современную среду; агент должен диагностировать сбой, локализовать затронутый код и создать исправление исходного кода, которое восстанавливает исторический набор тестов. Мы построили RepoRescue на основе 193 репозиториев Python и 122 репозиториев Java, каждый из которых, как проверено, проходил тесты исторически и перестаёт проходить после модернизации. Мы оцениваем пять развёрнутых агентных систем на Python и три на Java. Помимо уровня прохождения полных патчей, мы запускаем патчи повторно после удаления правок тестовых файлов для измерения исправления только исходного кода, добавляем режим с принудительным контролем времени выполнения, блокирующий правки тестов, и проверяем практическую применимость для репозиториев, наборы тестов которых проходят после спасения. Мы обнаружили, что системы Claude Code иногда редактируют неработающие тесты, даже если им дана инструкция этого не делать; при блокировке во время выполнения Kimi всё ещё спасает 41,5% репозиториев. Системы дополняют друг друга: их объединение достигает 62,7%, что на 10,9 процентных пункта превышает лучшую отдельную систему. Трудность сосредоточена в координации между файлами: на 14 репозиториях, требующих согласованных изменений во всей кодовой базе, GPT-5.2 через Codex проходит все 14, тогда как каждая система Claude Code проходит не более двух. Наконец, прохождение набора тестов — лишь начальный сигнал: среди 34 неподдерживаемых кандидатов Python, наборы тестов которых проходят после спасения, 22 работают в реалистичных сценариях, а 12 проходят поиск ошибок с патчами, устраняющими сбой совместимости. RepoRescue оценивает спасение совместимости с аудитом только исходного кода, принудительным контролем времени выполнения, практической проверкой и метками рассуждений.

Большие языковые модели (LLM) все чаще используются для выполнения действий в реальном мире и поддержки принятия решений человеком, однако большинство агентов полагается на параметрическое знание, фиксированные данные после обучения, поиск или извлечение информации. Эта парадигма не работает в новых областях и для сложных запросов, которые невозможно ответить, опираясь исключительно на предварительные знания. Например, знание законов физики само по себе не позволяет LLM отвечать на запросы или выполнять долгосрочные задачи в сложной физической системе. Для решения этой проблемы мы представляем иерархических агентов-экспериментаторов (HExA) — среду самосовершенствования в контексте, позволяющую обучаться посредством активного экспериментирования. HExA итеративно разрабатывает и уточняет релевантные запросу эксперименты, формирует из опыта многократно используемую библиотеку компонуемых навыков и интегрирует экспериментальные данные для ответа на запросы или выполнения действий. HExA не требует обучения, совместима с любыми моделями «черного ящика» и не нуждается во внешнем контроле, оракулах или офлайн-данных. Для оценки активного экспериментирования мы представляем Interphyre — бенчмарк вызова инструментов, построенный на основе процедурной физической среды PHYRE 2D, где агенты предлагают вмешательства и проверяют гипотезы через API симуляции. Эксперименты показывают, что текущие LLM-агенты с трудом справляются в таких условиях, особенно на самых сложных уровнях Interphyre. Claude Sonnet 4.6 достигает лишь 2% успеха, тогда как HExA улучшает ту же модель до 77% успеха. HExA также улучшает модели с открытыми весами и превосходит такие агентные базовые подходы, как ReAct и Reflexion. Более того, используя только навыки, полученные на более легких уровнях и перенесенные без активного экспериментирования, HExA достигает 44% успеха, что демонстрирует возможность повторного использования и обобщения изученных навыков. В целом HExA показывает, что обучение через активное экспериментирование может помочь агентам обнаруживать полезные знания, приобретать многократно используемые навыки и эффективно продвигаться в решении новых долгосрочных задач.

Мы представляем фреймворк с нулевой настройкой, без обучения и без оптимизации для генерации 360-градусных панорамных изображений и видео путем непосредственного внедрения сферических априорных данных в предварительно обученные диффузионные трансформеры. Существующие методы либо полагаются на дорогостоящую дообучение на ограниченных панорамных данных, что ограничивает обобщение, либо используют многошаговую оптимизацию, вызывающую неприемлемую задержку вывода. Мы наблюдаем, что современные генеративные модели изначально обладают некоторыми панорамными априорными данными благодаря крупномасштабному обучению. Однако этих возникающих возможностей недостаточно, так как модели принципиально не способны удовлетворять строгим топологическим ограничениям, накладываемым эквипрямоугольной проекцией (ERP). Мы предлагаем подход с нулевой настройкой и без оптимизации, который устраняет эти ограничения во время вывода. Сферический RoPE заменяет стандартные вращательные позиционные вложения: низкочастотные каналы перепараметризуются как трехмерные декартовы координаты для естественного кодирования сферического многообразия, а высокочастотные каналы гармонически квантуются для обеспечения точной периодичности. В сочетании с дополнительным семантическим искажением в бесклассификаторном управлении (CFG), которое явно направляет геометрию, мы избегаем переобучения и наследуем полный творческий диапазон современных моделей. Наш подход обобщается на различные архитектуры и модальности генерации 360°. Мы демонстрируем это для задачи текст-в-панораму с использованием Flux.1, Flux.2 и LTX-Video в качестве базовых моделей, достигая конкурентоспособных результатов по сравнению с эталонными методами, при этом оставаясь свободным от обучения. Страница проекта: https://orhir.github.io/SpheRoPE

Системы искусственного интеллекта обычно оцениваются по производительности при выполнении задач и имитации поведения, однако такие оценки оставляют открытым вопрос, может ли искусственный агент приобретать, стабилизировать и использовать новые лексические значения на основе опыта, полученного через восприятие. В данной статье представлен Lexical Consensus — экспериментальная основа для изучения изучения слов на основе восприятия (grounded word learning) на структурированном перцептивном субстрате. Используя замороженные визуальные эмбеддинги DINOv2, неологизмы в стиле Кэрролла, интерпретируемые лексические обучающиеся модели и линейные базовые методы, мы проверяем, могут ли агенты приобретать искусственные метки для визуальных концептов, обобщать их в обоих направлениях и стабилизировать в контролируемых условиях. Основным результатом является устойчивый градиент перцептивной когерентности: нативные категории легче всего усваиваются, когерентные сверхобобщения остаются изучаемыми, дизъюнктивные концепты среднего уровня ухудшаются, а дальние дизъюнктивные концепты приближаются к случайности. Предварительно зарегистрированный эксперимент по диссоциации на CIFAR-100 подтверждает, что этот градиент определяется перцептивным расстоянием, а не семантической близостью: перцептивное расстояние предсказывает точность усвоения (частный R² = 0,245, p < 1e-7), в то время как семантическое расстояние не добавляет значимой объяснительной силы (частный R² = 0,002, p = 0,660). Двунаправленная оценка показывает, что называние и поиск различны: механизмы, основанные на примерах, превосходят центроидные прототипы в задаче поиска изображений по метке, выявляя измерение точности памяти, отдельное от точности называния. Контрольные проверки на фальсификацию, оценки с однородными пулами кандидатов и нулевые результаты по реструктуризации репрезентаций указывают на то, что замороженная перцептивная геометрия как обеспечивает лексическое заземление (grounding), так и ограничивает то, что может быть усвоено без адаптации репрезентаций.

Существующие наборы данных для редактирования видео на основе инструкций, как правило, сосредоточены на редактировании внешнего вида в рамках одной задачи, что не соответствует сложным творческим потребностям реальных сценариев. Для устранения этого пробела мы представляем Goku — крупномасштабный набор данных, содержащий 2 миллиона высококачественных, согласованных с инструкциями пар для редактирования видео. Это первый набор данных, расширяющий границы задач от базового редактирования внешнего вида до многоцелевых и структурных манипуляций (например, точного контроля движения объекта). Для решения проблем синтеза данных, присущих этим сложным задачам, мы разработали эффективный конвейер синтеза данных, который разбивает сложные операции редактирования на контролируемые подзадачи, и внедрили прогрессивную систему фильтрации для обеспечения надежности данных на всех этапах процесса. Кроме того, мы исследовали оптимальные сетевые структуры на Goku и предлагаем Goku-Edit. Для глубокого понимания сложных инструкций по редактированию Goku-Edit использует MLLM в качестве текстового энкодера и применяет развязанную двухканальную архитектуру: выделенный канал маски отвечает за структурный контроль, освобождая основной канал для рендеринга внешнего вида. Также предлагается всесторонний эталон для редактирования видео — Goku-Bench, включающий 1000 вручную проверенных тестовых примеров и 7 новых метрик, специфичных для редактирования. При оценке на Goku-Bench Goku-Edit демонстрирует улучшение до +8% по сравнению с другими моделями с открытым исходным кодом в части следования инструкциям.

Модели устной речи (SLM) расширяют большие языковые модели (LLM) на речевой ввод и вывод. Существующие SLM представляют речь с фиксированной частотой кадров (например, 25 или 12,5 Гц), игнорируя изменяющуюся во времени информационную плотность речи и не предоставляя гибкости для компромисса между качеством и скоростью на этапе инференса. Недавние исследования аудиотокенизаторов предложили динамическое кодирование речи с переменной частотой кадров, которое использует эту неравномерность и открывает две новые возможности: очень низкие средние частоты кадров и управляемость частотой кадров. Однако этот метод ещё не применялся в SLM. Мы представляем Flexible Spoken Language Model (FlexiSLM) — первую SLM, поддерживающую динамическую и управляемую частоту кадров как на речевом вводе, так и на выводе. Используя представления с динамической частотой кадров, FlexiSLM превосходит модели с фиксированной частотой кадров размером 7B, включая Qwen2.5-Omni и Kimi-Audio, на своих высококачественных рабочих точках. Мы также подтверждаем, что FlexiSLM может быть точно настроена на частоту до 4,0 Гц; при 6,25 Гц время инференса сокращается примерно вдвое по сравнению с 12,5 Гц, при этом сохраняется высокое качество преобразования речи в речь. Аудиопримеры доступны по адресу https://flexislm.github.io .