Ежедневно отобранные исследовательские статьи по ИИ с переводами
Мы представляем аксиоматическую систему оценки латентных представлений мыслей в больших языковых моделях (LLM), включающую метрики, не зависящие от эталонных показателей downstream-задач и выявляющие репрезентационные сбои, которые маскируются точностью на бенчмарках. Существующие методы оценивания смешивают качество представления с ёмкостью модели, поэтому сбои невозможно отнести на счёт самого представления, а не обрабатывающей его модели. Мы формализуем четыре функциональные аксиомы (причинность, минимальность, разделимость и устойчивость) и определяем для каждой количественную меру, вычисляемую непосредственно на представлении, независимо от downstream-точности. Мы проводим аудит моделей LLM с открытыми весами на 23 задачах рассуждения (например, пространственное мышление, фактологический вопрос-ответ). Мы обнаруживаем, что ни один кандидат не удовлетворяет всем четырём аксиомам одновременно, что представления надёжно различают тип задачи, но не способны различать два вопроса внутри одной задачи, а также что эти представления кодируют мало информации сверх той, что уже присутствует во входном эмбеддинге. Данный сбой устойчиво проявляется в семействах плотных моделей, дистиллированных на рассуждение и обученных с подкреплением, что указывает на структурный характер разрыва, а не на его зависимость от размера модели или процедуры обучения.
Модели генерации видео стали перспективной парадигмой для воплощённого моделирования мира. Однако как генераторы видео общего назначения, так и модели, дообученные на специфических для роботов данных, всё ещё могут порождать физически неправдоподобные манипуляции, включая прерывистые траектории движения и несогласованные взаимодействия между роботом и объектами, что ограничивает их надёжность в качестве симуляторов мира. В ходе обширных экспериментов мы обнаружили, что такая физическая нестабильность в основном обусловлена двумя факторами: деформацией движущихся объектов и неправдоподобными пространственно-временными корреляциями между взаимодействующими сущностями, особенно в момент контакта. Основываясь на этом наблюдении, мы предлагаем PhysisForcing — масштабируемую обучающую структуру, которая усиливает физическую согласованность путём фокусировки контроля на физически информативных областях через совместную оптимизацию признаков на уровне пикселей и семантическом уровне. Структура состоит из функции потерь для выравнивания траекторий на уровне пикселей, которая контролирует признаки DiT с помощью траекторий опорных точек, и функции потерь для выравнивания реляционных связей на семантическом уровне, которая согласует признаки DiT с межрегиональными отношениями, извлечёнными из замороженного энкодера понимания видео. Обширные эксперименты на R-Bench, PAI-Bench и EZS-Bench показывают, что PhysisForcing последовательно улучшает воплощённую генерацию видео по сравнению с сильными базовыми линиями, повышая показатели базовых моделей Wan2.2-I2V-A14B и Cosmos3-Nano на R-Bench на 22,3% и 9,2% (на 7,1% и 3,7% по сравнению с обычной точной настройкой), причём вариант на базе Cosmos3-Nano достигает наилучшего общего результата. Помимо генерации, в качестве модели мира в рамках протокола планирования действий WorldArena он повышает уровень успешности замкнутого цикла с 16,0% до 24,0% и дополнительно улучшает успешность последующих политик, что указывает на то, что физически согласованные видео-модели обеспечивают более сильные представления для роботизированных манипуляций.
Мы представляем Qwen-Image-2.0-RL — конвейер пост-обучения, который применяет обучение с подкреплением на основе человеческой обратной связи (RLHF) и дистилляцию на основе текущей политики (OPD) для улучшения как визуального качества, так и способности следования инструкциям диффузионной модели Qwen-Image-2.0. Для обеспечения надежных сигналов вознаграждения мы строим специализированные композитные модели вознаграждения для конкретных задач, настраивая модели «зрение-язык» с использованием поточечной парадигмы оценки и цепочки рассуждений. Для генерации текста в изображение модели вознаграждения охватывают аспекты согласованности, эстетики и точности портретов. Для задач редактирования изображений система вознаграждения учитывает точность следования инструкциям и сохранение идентичности лица. На основе этой системы вознаграждения мы разрабатываем масштабируемую структуру обучения с подкреплением на базе GRPO, включающую гибридную стратегию бесклассификаторного управления (CFG) для сохранения предварительно обученных знаний, фильтрацию запросов на основе диапазона вознаграждения внутри группы и калибровку весов вознаграждения по категориям. Для объединения специализированных для задач политик RL для T2I и редактирования мы предлагаем дистилляцию на основе текущей политики в качестве финального этапа обучения, которая объединяет нескольких учителей в единую модель ученика через согласование скоростей на уровне траекторий. Обширная оценка показывает, что Qwen-Image-2.0-RL достигает общего балла 57,84 на Qwen-Image-Bench (+2,61 по сравнению с базовой моделью), рейтингов Эло 1193 в арене «текст-в-изображение» (+78) и 1349 в арене редактирования изображений (+93), демонстрируя устойчивые улучшения в эстетическом качестве, соответствии запросам и точности редактирования.
Мы изучаем возможность обучения новым манипуляционным навыкам на основе действий человека для двуручного робота с параллельными захватами. Данные о действиях человека дешевы, многочисленны и разнообразны, что делает их одним из наиболее перспективных ресурсов для масштабирования обучения роботов. Однако перенос навыков от человека к роботам остается сложной задачей: большинство предыдущих работ рассматривают человека как еще один двуручный объект с 6 степенями свободы, где оценки положения рук зашумлены, а паттерны контакта человеческих пальцев принципиально отличаются от таковых у параллельного захвата. Мы утверждаем, что обучение сигналам действий, включающим вращение, на основе данных человека является субоптимальным, и вместо этого предлагаем промежуточное представление действий: относительное перемещение запястья в системе отсчета начальной камеры на голове — пространство действий, общее для человека и роботов. Для обработки потенциального отсутствия определенных компонентов действий в разных воплощениях мы строим модель «зрение-язык-действие», подобную π₀, с чередующимися токенами действий и маскировкой внимания. На наборе новых двуручных манипуляционных задач наше промежуточное представление действий передает манипуляционные знания от человека к роботам гораздо эффективнее, чем зашумленные 6-степенные действия человека, и масштабируется с увеличением объема данных о человеке.
Фундаментальные модели в области языка и мультимодальности достигают высокой обобщающей способности за счёт выравнивания разнородных данных в рамках единой формулировки и обучения в масштабе. В данном отчёте мы исследуем, можно ли применить этот подход масштабирования к роботизированным манипуляциям для достижения подлинного обобщения. Это сложная задача, поскольку, в отличие от текста, данные манипуляций по своей природе неоднородны, дороги в сборе и узки по разнообразию, что одновременно затрудняет и выравнивание, и масштабирование. Мы представляем Qwen-RobotManip — обобщающую фундаментальную модель типа «видение-язык-действие», построенную на основе Qwen-VL. Qwen-RobotManip вводит единую структуру выравнивания по трём измерениям манипуляций: представлению, движению и поведению, что делает крупномасштабное обучение на нескольких источниках данных согласованным, а не конфликтующим. Эта способность к выравниванию, в свою очередь, позволяет Qwen-RobotManip поглощать данные манипуляций в масштабе, который предыдущие режимы обучения не могли поддерживать. Конвейер синтеза от человека к роботу преобразует эгоцентрические демонстрации рук в траектории робота для 15 платформ, а строгий конвейер курирования гармонизирует разнородные наборы данных. Используя только открытые наборы данных и видео с участием человека (без сбора собственных данных), Qwen-RobotManip формирует предобучающий корпус объёмом ~38 100 часов и демонстрирует возникающие обобщающие способности, включая выполнение инструкций без обучения (zero-shot), устойчивость к возмущениям, реактивное восстановление после ошибок и перенос между различными воплощениями (cross-embodiment). Мы обнаружили, что стандартные бенчмарки не позволяют оценить качество предобучения, и вместо этого используем условия вне распределения (OOD), включая RoboCasa365, LIBERO-Plus, EBench, RoboTwin-Clean2Rand, RoboTwin-IF и RoboTwin-XE. Qwen-RobotManip существенно превосходит предыдущие модели уровня state-of-the-art, включая π0.5, во всех OOD-условиях, занимает 1-е место в RoboChallenge с относительным улучшением на 20% и проходит валидацию на реальных роботизированных платформах, включая AgileX ALOHA, Franka, UR и ARX.
Агентные системы навигации требуют базовой модели навигации, стратегия наблюдения которой может быть внешне перенастроена во время инференса, поскольку следование инструкциям, поиск объектов, отслеживание целей и автономное вождение используют одну и ту же основу восприятия и планирования, но требуют принципиально различных стратегий потребления визуального потока. Мы представляем Qwen-RobotNav — масштабируемую модель навигации, построенную на Qwen-RobotNav, которая решает эту задачу с помощью параметризованного интерфейса с двумя взаимодополняющими измерениями: множеством режимов задач, выбирающих поведение навигации, и управляемыми параметрами наблюдения (например, бюджет токенов, веса для каждой камеры), которые определяют, как кодируется визуальная история. Благодаря рандомизации всех параметров во время обучения, Qwen-RobotNav устойчив к любой конфигурации во время инференса, не требующей никаких изменений архитектуры основы Qwen-RobotNav. Мы обучаем Qwen-RobotNav на 15,6 миллионах образцов; совместное обучение с данными типа «зрение-язык» предотвращает коллапс в реактивные отображения последовательностей действий, наблюдаемый при обучении только на траекториях. Параметризованный интерфейс также делает Qwen-RobotNav естественным строительным блоком для агентных систем: для сценариев с долгосрочным горизонтом планировщик верхнего уровня разбивает цели на подзадачи и динамически переключает режим задачи и стратегию контекста Qwen-RobotNav в середине эпизода, составляя сложные поведения из повторных вызовов одной и той же модели. Обширные эксперименты показывают, что Qwen-RobotNav достигает новых передовых результатов на основных эталонах навигации. Модель демонстрирует благоприятное масштабирование от 2 до 8 миллиардов параметров, при этом совместное многозадачное обучение развивает общую основу пространственного планирования, которая переносится между семействами задач, и показывает сильное нулевое обобщение на реальных роботах в разнообразных средах.
Языковые модели (LM) представляют токены с помощью матриц вложений, размер которых линейно растёт с объёмом словаря. Для сокращения количества параметров в предыдущих работах предлагалось хешировать множество токенов в единый вектор в рамках моделей только с кодировщиком. Хотя это обеспечивает эффективность по параметрам, коллизии типа «многие к одному» не позволяют использовать данный подход в каузальных LM. В данной статье мы предлагаем MultiHashFormer — новую архитектуру, которая делает возможной хеш-основанную авторегрессию. Каждый токен представляется в виде уникальной хеш-подписи — короткой последовательности дискретных хеш-идентификаторов, генерируемой несколькими независимыми хеш-функциями. Хеш-энкодер сжимает эту подпись в единый латентный вектор для обработки декодером Transformer. Затем хеш-декодер генерирует хеш-подпись следующего токена, которая преобразуется обратно в текст. Мы оцениваем наш подход при масштабах в 100 млн, 1 млрд и 3 млрд параметров, демонстрируя, что MultiHashFormer стабильно превосходит стандартные языковые модели Transformer по нескольким бенчмаркам. Кроме того, мы показываем, что наша модель справляется с расширением многоязычного словаря при неизменном количестве параметров без каких-либо модификаций.
Модели «зрение–язык» (VLMs) всё чаще применяются в потребительских, медицинских, финансовых и корпоративных системах. Такое широкое внедрение расширяет поверхность безопасности: риски могут возникать при мультимодальном ответе на вопросы, в ассистивных ответах и межмодальной композиции, при этом политики модерации могут различаться в зависимости от продуктов, регионов и этапов развёртывания. Большинство существующих защитных механизмов либо опираются на фиксированные таксономии, либо нацелены лишь на узкий набор сценариев взаимодействия, что ограничивает их адаптируемость при изменении правил безопасности в процессе эксплуатации. Мы представляем SingGuard — семейство адаптируемых к политике мультимодальных моделей-ограничителей для оценки безопасности в мультимодальных диалогах. SingGuard рассматривает действующую политику как входной параметр времени выполнения: получив правила на естественном языке, он проверяет целевой контент на соответствие активной политике по каждому правилу и предсказывает как метку безопасности, так и нарушенное правило. Для баланса между эффективностью и интерпретируемостью SingGuard поддерживает быстрый, гибридный и медленный режимы вывода вдоль спектра рассуждений от быстрого к медленному — от прямых суждений о безопасности до обоснованных политикой рассуждений. Мы дополнительно оптимизируем это поведение с помощью быстро-медленного развязанного обучения с подкреплением. Также мы представляем SingGuard-Bench — бенчмарк мультимодальных ограничителей, содержащий 56 340 примеров, охватывающих более 80 тонких типов рисков в сценариях мультимодальных вопросов-ответов, атак и оценки динамических правил, включая межмодальные случаи совместного риска, где каждая модальность по отдельности безопасна, но их комбинация указывает на небезопасное намерение. На шести семействах бенчмарков (35 наборах данных) SingGuard достигает среднего F1, превосходящего современные показатели в каждом семействе. Оценка на динамических правилах дополнительно показывает улучшение точности следования политике с 0,6465 до 0,7415 при смене политики во время выполнения. Наш код доступен по адресу https://github.com/inclusionAI/Sing-Guard.
Многоагентные системы (МАС), построенные на основе больших языковых моделей (БЯМ), предоставляют перспективную платформу для решения сложных задач за счет специализации по ролям и структурированного взаимодействия. Однако их производительность часто ограничена рассогласованием и, что более фундаментально, отсутствием мелкозернистого распределения кредита между агентами. Существующие подходы обычно полагаются на крупнозернистую обратную связь, что затрудняет определение того, какие агенты или шаги взаимодействия ответственны за ошибки. Мы предлагаем метод градиентных связей (GBC) — подход к мелкозернистой атрибуции и оптимизации многоагентных систем. GBC моделирует МАС как вычислительный граф и вводит веса градиентных связей для количественной оценки влияния вывода каждого агента на нижестоящие агенты на уровне токенов. Путем построения графа атрибуции и распространения сигналов потерь, специфичных для задачи, в обратном направлении наш метод позволяет точно определять источники ошибок и целенаправленно оптимизировать промпты. Мы также разрабатываем AgentChord — эффективную реализацию, использующую градиентные вычисления на основе префиксов. Эксперименты на MultiWOZ и τ-bench показывают, что GBC улучшает производительность многоагентных систем и превосходит сильные одноагентные и многоагентные базовые модели, причем более высокое качество атрибуции связано с большей эффективностью оптимизации. Код доступен по ссылке: https://github.com/yxc-cyber/AgentChord.
Роботы, работающие в условиях открытого мира, должны бесшовно интегрировать локализацию, пространственное мышление, навигацию и долгосрочное планирование. Хотя специализированные модели превосходно справляются с отдельными задачами, развертывание стека из нескольких моделей требует значительных вычислительных ресурсов и склонно к каскадным ошибкам. Мы представляем Vesta — унифицированный воплощенный обобщающий агент, объединяющий эти возможности в единую фундаментальную модель. Наш подход сочетает разнообразный и масштабный тщательно подобранный корпус, разработанный для индукции пространственного привязывания, и простой механизм многомодальной памяти, обеспечивающий рассуждение на длительных временных горизонтах. На различных тестовых наборах Vesta в среднем превосходит отдельные SOTA-базовые решения более чем на 20% и превосходит ансамбль лучших базовых решений по каждой категории более чем на 10%, демонстрируя, что общая модель может соответствовать специалистам или превосходить их. В реальных робототехнических задачах, требующих памяти и рассуждения, Vesta повышает успешность выполнения задач более чем на 35%. Таким образом, наша работа показывает, что единая обобщающая модель является осуществимой, масштабируемой и, по-видимому, предпочтительной альтернативой объединению специалистов.
Текстовая детоксикация, автоматическое обнаружение и смягчение оскорбительного и вредоносного контента, необходима для обеспечения безопасности онлайн-сообществ и защиты пользователей. Однако языки с ограниченными ресурсами, такие как татарский, получили мало исследовательского внимания. В данной статье мы представляем Tatoxa — новую передовую систему для текстовой детоксикации на татарском языке. Сравнительные эксперименты показывают, что предложенный подход превосходит существующие открытые и проприетарные коммерческие LLM по ключевым показателям качества. Мы также представляем новый набор данных для текстовой детоксикации на татарском языке, предназначенный для тонкой настройки и оценки в условиях ограниченных ресурсов. Наконец, эксперименты по межъязыковому переносу показывают, что перенос с других языков, включая культурно близкий русский, работает значительно хуже, чем обучение на родных татарских данных, даже при наличии большого русского корпуса.
Визуальный ответ на вопросы на основе знаний (KB-VQA) требует от моделей сочетать понимание изображений с внешними знаниями. Большинство предыдущих методов используют фиксированный конвейер «извлечение-затем-генерация» с предварительно выбранным поисковым модулем и статической настройкой top-k, который не адаптируется в процессе рассуждения. Мы предлагаем ProMSA — прогрессивный мультимодальный поисковый агент для KB-VQA. Для пары «изображение-вопрос» агент итеративно выбирает поиск по изображению, текстовый поиск или остановку в рамках явных бюджетов вызовов инструментов и с дедупликацией для предотвращения избыточного поиска. Для обучения мы сначала используем SFT с выборкой отклонения (rejection-sampling SFT) для изучения корректных форматов использования инструментов, а затем оптимизируем агента с помощью TN-GSPO — объектива RL на уровне последовательности, который нормализует обновления как по длине генерации, так и по глубине взаимодействия с инструментами. Эксперименты на E-VQA и InfoSeek показывают последовательные улучшения по сравнению с сильными базовыми методами RAG и агентами, а также повышение точности поиска и сквозной точности. Код доступен по адресу https://github.com/DingWu1021/Promsa.
Голосовые агенты сталкиваются с фундаментальным противоречием: рассуждение, поиск информации и использование инструментов, которые делают фундаментальные модели эффективными, являются итеративными и медленными, в то время как интерактивное общение требует отклика за миллисекунды. Меньшие модели реального времени соответствуют требованиям по задержке, но не могут сравниться с фундаментальными моделями в сложных задачах, из-за чего современные голосовые агенты вынуждены жертвовать либо отзывчивостью, либо возможностями. Мы вводим понятие «конверсационного инфилла» (conversational infill), при котором малая модель-говорящий (talker model) одновременно немедленно генерирует контекстуально обоснованные ответы, скрывая задержку внешней модели-рассуждателя (reasoner model), и плавно интегрирует потоковые знания рассуждателя в свои ответы в процессе вывода. Мы подготовили синтетический набор данных из 290 571 примера, охватывающий шесть доменов, и демонстрируем, что эта задача выполнима для семи широко используемых малых языковых моделей объемом от 135M до 1.7B параметров. Наша системная реализация, ConvFill, поддерживает время до первого ответа на уровне миллисекунд, при этом сокращая разрыв в точности до 6.3% от соответствующей производительности передового рассуждателя. В живом пользовательском исследовании (n=18) с развертыванием модели-говорящего на Apple M2 SoC участники оценили ConvFill как в целом сопоставимый с передовыми моделями, отдали ему предпочтение в задачах с интенсивным поиском и сочли его значительно более отзывчивым. Эти результаты показывают, что конверсационный инфилл открывает новую точку на границе Парето между задержкой и возможностями, предлагая практический путь к созданию голосовых агентов, которые одновременно отзывчивы и высокоэффективны. Код, модели и наборы данных доступны по адресу https://github.com/vysri/conversational-infill.
Веб-агентные бенчмарки в подавляющем большинстве измеряют глубину — поиск одного малоизвестного ответа за цепочкой ограничений, — тогда как ширина, то есть исчерпывающее перечисление замкнутого множества и заполнение атрибутов каждого элемента, почти не оценивается, особенно за пределами английского языка. Ширину также трудно построить: верификация того, что эталонное множество является полным и каждая ячейка верна, обходится гораздо дороже, чем проверка одного ответа. Я представляю Ko-WideSearch — корейский бенчмарк поиска по ширине, построенный с помощью автоматизированного конвейера «синтез и проверка». Каждое задание называет сущность-родитель множества — телесезон, династию, лигу, административный регион, выборы — и требует указать полный состав этого множества, а также таблицу атрибутов для каждого элемента, оцениваемую по Item-F1, Column-F1 и Row-F1. Бенчмарк охватывает 228 таблиц по 190 сущностям и шестнадцати категориям, распределённым по трём уровням сложности, которые задаются двумя структурными параметрами, которые я регулирую независимо — шириной таблицы и двумерным составным ключом, — так что декартово произведение членства возрастает от 0% до 100% по уровням. Единый компаратор с учётом нормализации используется как при построении эталона, так и при оценивании, поэтому стабильные столбцы с датами и счётчиками не отбрасываются из-за одного лишь форматирования. На двадцати веб-агентах сбой однотипен: агенты находят множество, но не строки (например, Item-F1 92,8 против Row-F1 53,7), точность неуклонно падает по мере ужесточения параметров, и ни увеличение числа поисков, ни повышение затрат не позволяют устранить разрыв. При разбивке по ячейкам сложность заключается в поиске правильного значения, а не в его форматировании: хуже всего обстоят дела с открытыми текстовыми ячейками, тогда как ячейки со стандартным ответом, таким как дата или имя, обычно оказываются верными.
Обучение и оценка роботизированных политик в реальном мире дороги и трудно масштабируемы. Мы представляем SimFoundry — модульную и автоматизированную систему для однократного (zero-shot) построения сцен из реальности в симуляцию на основе видео. SimFoundry создает готовые к симуляции цифровые двойники и поддерживает редактирование объектов, сцен и задач, что позволяет автоматически генерировать разнообразные цифровые кузены: вариации реконструированных реальных сцен, сохраняющие их аффордансы. Политики, обученные на данных SimFoundry, без дополнительного обучения (zero-shot) переносятся на сложные реальные задачи, включающие многошаговые манипуляции, взаимодействие с сочлененными объектами и двуручное взаимодействие, а его цифровые кузены (вариации исходной сцены, объектов и задач) способствуют обобщению на новые реальные условия. В ходе оценки на 7 задачах манипуляции и 5 архитектурах политик симуляционные оценки SimFoundry сильно предсказывают реальную производительность: средняя корреляция Пирсона составляет 0,911, а среднее максимальное нарушение ранжирования — 0,018. При оценке симуляционно обученных политик в реальном мире в режиме zero-shot политики, обученные с использованием кузенов объектов, сцен и задач в симуляции, показывают среднее улучшение успешности выполнения задач на 17%, 21% и 40% соответственно. Дополнительная информация по адресу: https://research.nvidia.com/labs/gear/simfoundry/ .
Чтобы агенты могли непрерывно учиться на основе взаимодействия с миром во время тестирования, они должны уметь эффективно исследовать, приобретать новые знания о мире и навыки, сохранять релевантный эпизодический опыт и строить долгосрочные планы. Для оценки этих ключевых способностей агентов непрерывного обучения во время тестирования мы представляем AgentOdyssey — новую оценочную среду, которая процедурно генерирует открытые текстовые игры с богатым набором сущностей, динамикой мира и долгосрочными задачами. Критически важно, что AgentOdyssey выходит за рамки традиционного для машинного обучения предположения о том, что обучение не происходит во время тестирования, помещая агентов в непрерывную долгосрочную среду, где обучение и логическое рассуждение чередуются на протяжении всего развертывания. Мы также предлагаем многоаспектную методологию оценки, которая измеряет не только прогресс в игре, но и предоставляет диагностические тесты на усвоение знаний о мире, эпизодическую память, исследование объектов и действий, разнообразие действий и стоимость модели. Мы оцениваем различные парадигмы агентов в сгенерированных играх. Наши экспериментальные результаты выявляют критические ограничения ключевых способностей агентов, а также факторы, влияющие на их значимый горизонт. Хотя производительность растет с использованием более мощных базовых моделей, даже лучший агент остается значительно ниже человеческого уровня, оставляя значительный простор для улучшений. Среди механизмов агентов мы обнаружили, что краткосрочная память приносит пользу нескольким парадигмам и является важным компонентом обучения агента во время тестирования.
Искусственный интеллект является движущей силой революции в научных открытиях, ускоряя всё — от генерации гипотез до доказательства математических теорем. Однако такое стремительное ускорение порождает системную проблему: традиционное рецензирование, выполняемое людьми, не может масштабироваться, чтобы соответствовать наплыву работ, созданных с помощью ИИ. В конечном счёте, чтобы разрешить это противоречие, мы также должны применить ИИ для ускорения самого процесса верификации и рецензирования. Для структурирования обсуждения этого перехода мы предлагаем таксономию, состоящую из четырёх последовательных уровней сотрудничества ИИ и человека в научной оценке, и рассматриваем различные компромиссы, связанные с каждым из них. В качестве шага к такому будущему мы представляем инструмент Paper Assistant Tool (PAT) — агентную ИИ-структуру, предназначенную для глубокого научного рецензирования и верификации. PAT принимает на вход полные тексты научных рукописей и выдаёт всестороннюю оценку, включая проверку теоретических результатов, валидацию экспериментов, предложения по улучшению и выявление потенциальных недостатков. Используя методы масштабирования логического вывода, PAT способен выявлять более глубокие проблемы, чем при одиночном вызове модели, достигая улучшения на 34% по показателю полноты при нулевом обучении (zero-shot recall) при поиске математических ошибок в эталоне SPOT. Пилотные развёртывания PAT в качестве инструмента предварительной подачи для авторов на двух крупных конференциях по информатике — STOC и ICML — демонстрируют его способность выявлять критические ошибки и предлагать существенные улучшения исследовательских работ. Выявляя ошибки на раннем этапе, PAT снижает когнитивную нагрузку на рецензентов, сохраняя при этом за ними контроль над результатами процесса рецензирования.
Модели зрительно-языковых-действий (VLA) способны обобщать знания на разнообразные манипуляционные задачи, однако их политики, основанные на имитационном обучении, остаются хрупкими при точных физических взаимодействиях из-за накапливающихся ошибок выполнения; может ли политика обучения с подкреплением, обученная исключительно в симуляции, улучшить устойчивость реальных VLA при нулевом переносе? Остаточное обучение с подкреплением (Residual RL), которое обучает корректирующую политику поверх замороженной VLA, предлагает естественную основу, но существующие подходы сталкиваются с фундаментальной дилеммой переноса из симуляции в реальность: методы с привилегированными состояниями требуют потерь при дистилляции для развертывания; методы, основанные на изображениях, страдают от визуального разрыва между доменами; а обучение с подкреплением в реальном мире дорого и небезопасно. Мы предлагаем объектно-ориентированную структуру остаточного обучения с подкреплением, которая уточняет действия VLA, используя позы объектов, что обеспечивает компактное пространство наблюдений, согласованно переносимое между симуляцией и реальностью. Для выравнивания двух доменов мы дополнительно воспроизводим те же демонстрации телеуправления в симуляции, чтобы обучить симуляционный аналог реальной VLA. Политика остаточного обучения с подкреплением обучается только в симуляции с добавлением шума к позам и отсевом (dropout) и переносится с нулевым переносом на реального робота. На пяти манипуляционных задачах с реальным роботом Franka Research 3 (FR3) наш метод улучшает показатель успешности с 42% до 76% при нулевом переносе, а улучшенные прогоны могут быть повторно использованы для переобучения базовой VLA с целью самосовершенствования без дополнительного телеуправления. Страница проекта: https://www.microsoft.com/en-us/research/articles/object-centric-residual-rl/
Я описываю свое решение для LeHome Challenge 2026, соревнования ICRA 2026 по двуручной складке одежды. Система заняла 1-е место из 62 команд в онлайн-этапе (симуляция) и 2-е место в финале с реальным миром. Она улучшает политику видение-язык-действие (VLA) с помощью цикла обучения с подкреплением. Политика сама является своей функцией ценности: одна и та же сеть, которая предсказывает действия, также предсказывает успех, прогресс и несколько релевантных будущих величин, а эти прогнозы используются для оценки преимущества, обнаружения сбоев в реальном времени и выбора кандидатов. В основном работа перекомбинирует существующие идеи RL с инженерными и оптимизационными вкладами, которые можно использовать вместе как единое решение или по отдельности: AWR + RECAP для VLA с потоковым согласованием; асинхронный конвейер распределенного обучения/развертывания через HuggingFace Hub; оптимизация гиперпараметров во время вывода с помощью семплирования Томпсона; рецепт перехода от симуляции к реальности с инструментарием выравнивания камер, тяжелой аугментацией и сбором данных HIL по типу DAgger.
Авторегрессионная (AR) генерация в пространстве пикселей с непрерывными токенами напрямую моделирует изображения как последовательности сырых пиксельных патчей, избегая дискретной токенизации или отдельного предварительно обученного токенизатора. Однако она сталкивается с сопряженными трудностями: генерация многомерных патчей приводит к большим одношаговым ошибкам, а обучение с принудительным использованием учителя создает разрыв между обучением и инференсом, из-за которого эти ошибки накапливаются на AR-шагах. Существующие решения, такие как x-предсказание и внесение шума на входе, лишь частично смягчают эти проблемы. Точное обучение с развертыванием лучше соответствует условиям инференса, но непрактично из-за чрезвычайно медленной последовательной выборки. Мы предлагаем приближение параллельного развертывания (Parallel Rollout Approximation, PRA) — масштабируемую структуру, которая совместно решает обе проблемы. PRA генерирует низкоразмерные промежуточные состояния вместо многомерных пиксельных патчей, а затем преобразует их обратно в пиксельные токены с помощью пиксельного декодера, сохраняя AR-интерфейс с входом и выходом в пикселях. Кроме того, он создает похожие на инференс пиксельные входы через тот же путь от промежуточного состояния к пикселю, который используется при инференсе, независимо для разных позиций, аппроксимируя интерфейс пиксельной обратной связи, встречающийся при развертывании во время инференса, сохраняя при этом параллельное обучение с принудительным использованием учителя. На генерации ImageNet-1K с разрешением 256×256 в условиях классов модель PRA-S с 135M параметров достигает FID 2.58, превосходя предыдущий результат миллиардного масштаба в пиксельном пространстве (3.60). Масштабирование до PRA-L с 511M параметров дополнительно улучшает FID до 1.94, устанавливая новый рекорд среди моделей AR в пиксельном пространстве. Помимо генерации, PRA достигает более высокой точности зондирования классификации ImageNet, чем другие AR- и диффузионные базовые модели, что указывает на его потенциал для унифицированного понимания и генерации изображений в пиксельном пространстве.
Эффективное развертывание больших языковых моделей (LLM) в производственной среде вынуждает искать компромисс между точностью и стоимостью. Операторы часто полагаются на единственную модель, которая оказывается либо дорогой для простых запросов, либо недостаточно эффективной для сложных. Для решения этой задачи мы предлагаем двухэтапное каскадное решение. На этапе 1 входящие запросы кластеризуются, и каждый кластер назначается на наиболее экономичную модель. Бюджет стоимости для этого процесса маршрутизации задается с помощью интерпретируемого гиперпараметра, настраиваемого в автономном режиме. На этапе 2 добавляется каскад оценки качества (QE); когда выходные данные этапа 1 признаются низкокачественными, запрос передается на более мощную модель. Это гарантирует, что только сложные или низкоуверенные случаи будут направляться на дорогостоящие модели. На тестовых наборах данных каскадная система сохраняет 97–99% точности самой мощной модели, одновременно сокращая время на выходной токен (TPOT). Она требует только меток правильности выполнения задачи и адаптируется к изменениям в пуле моделей без ручной перенастройки.
Модели генерации видео стремятся моделировать динамические среды, и несколько эталонных тестов теперь оценивают согласованность памяти между кадрами. Однако большинство из них проверяют согласованность только пока объект остается в поле зрения, а те немногие, что заставляют объекты выходить из поля зрения, оценивают статические сцены, в которых во время сокрытия ничего не меняется. Чтобы восполнить этот пробел, мы представляем MemoBench — диагностический эталон, построенный на парадигме исчезновения и повторного появления в динамически изменяющихся средах: целевой объект подвергается физическому процессу, исчезает из поля зрения и должен быть правильно восстановлен в своем обновленном состоянии при повторном появлении. Мы отобрали 360 эталонных клипов, охватывающих синтетические и реальные сцены, и разработали набор для оценки, сочетающий автоматические метрики с оценкой на основе VQA по четырем диагностическим столпам. Оценка восьми современных моделей выявила ключевые закономерности и открытые проблемы, касающиеся согласованности памяти в рамках парадигмы исчезновения и повторного появления.
Послетренировочное обучение с подкреплением (RL) улучшает согласование вознаграждений генераторов на основе потоков, но часто ухудшает перцептивное качество способами, которые не улавливаются прокси-функцией вознаграждения. Мы выявляем простую структурную характеристику этого дрейфа: в рамках трех методов послетренировочного обучения (NFT, AWM, DPO) точная настройка с RL увеличивает норму скорости на шаг |v_θ| на 5–15% по сравнению с эталоном. Одна из форм инфляции нормы изучалась в безклассификаторном управлении (CFG), где масштабирование скорости обратно к эталонной норме на этапе вывода может смягчать возникающие артефакты. Однако эта коррекция на этапе вывода не переносится напрямую на RL: масштабирование v_θ для соответствия |v_{ref}| на этапе вывода не улучшает ни вознаграждение, ни качество, поскольку инфляция коадаптирована в веса модели. Кроме того, сопряженный анализ чувствительности показывает, что масштабирование величины скорости не несет когерентного сигнала вознаграждения первого порядка на уровне батча, что указывает на то, что подавление инфляции нормы вряд ли удалит компоненту, последовательно несущую вознаграждение. Поскольку перенормализация на этапе вывода не работает, а подавление нормы не несет затрат по вознаграждению, вмешательство на этапе обучения является подходящей стратегией. Совокупно эти результаты обосновывают \methodname — шарнирный штраф, который активируется только когда |v_θ| превышает |v_{ref}| и аддитивно комбинируется с любой локальной по скорости базовой функцией потерь. На двух базовых моделях, трех методах послетренировочного обучения и двух прокси-функциях вознаграждения \methodname последовательно улучшает качество изображения по оценке MLLM и судебно-медицинский реализм, сохраняя вознаграждение, причем прирост усиливается при выводе с малым числом шагов и не объясняется ранней остановкой.
Агенты кода на основе LLM осуществляют навигацию по репозиториям с помощью поиска по ключевым словам, но упускают структурные взаимосвязи — такие как графы вызовов, иерархии наследования и зависимости конфигурации, — которые определяют, как реально работает программное обеспечение. Это делает навигацию агентов стохастической и трудно воспроизводимой от запуска к запуску. Мы исследуем, может ли лёгкий статический анализ предоставить детерминированные якоря для таких агентов: стабильные структурные факты, внедрённые в виде комментариев на обычном языке, которые ограничивают вероятностное исследование и делают навигацию более предсказуемой. Отталкиваясь от сильного базового решения, Codex от OpenAI, мы систематически внедряем структурные аннотации различной степени детализации и измеряем их влияние на локализацию, поведение траектории и стабильность от запуска к запуску. Наше исследование выявляет то, что мы называем эффектом детерминированного якорения: статическая структура помогает не столько за счёт того, что делает агентов «умнее», сколько за счёт того, что делает их навигацию дисциплинированной и воспроизводимой. Три наблюдения подтверждают этот вывод: (1) Якорение работает: лёгкая топология вызовов/наследования улучшает локализацию на уровне функций (+2,2 процентных пункта Func@5) и сокращает траектории (на 1,6 раунда взаимодействия); (2) Якорение чувствительно к масштабу: оптимальная степень детализации и направленность зависят от характеристик репозитория, причём более плотная семантика демонстрирует убывающую отдачу, а проекты с большим количеством концентраторов выигрывают от использования только обратных ссылок, которые показывают «кто вызывает меня» без прямых рёбер; (3) Якорение стабилизирует: теги повышают частоту перехода по ссылкам с 0,15–0,18 до 0,21–0,24, примерно вдвое снижают дисперсию между запусками и улучшают одноразовую надёжность (Pass@1 +3,4 процентных пункта) в репозиториях среднего масштаба за счёт примерно на 10% большего количества входных токенов. Эти наблюдения подсказывают практические рекомендации: по умолчанию использовать лёгкую топологию для проектов среднего масштаба, обрезать прямые рёбра в крупных репозиториях и оставлять плотные теги только для случаев с неявными зависимостями.
Разреженное внимание может снизить стоимость вывода в длинном контексте, но большинство вариантов вводят новые архитектурные компоненты. Мы представляем упрощенное разреженное внимание (SSA) — более простой подход к разреженному вниманию, не требующий архитектурных изменений. В частности, мы сначала проводим продолженное предварительное обучение на последовательностях, чередующихся с токенами сути. Мы оптимизируем стандартную функцию потерь следующего токена как обычно, но токены сути используют маску внимания, чтобы ограничить, к каким частям контекста может обращаться языковая модель; это учит модель упаковывать важную информацию каждого блока в токены сути. Во время вывода SSA оценивает блоки через внимание между текущим запросом и небольшим набором токенов сути, выборочно развертывая top-k блоков путем повторного введения соответствующих исходных токенов. Поскольку запрос оценивается только по отношению к токенам сути, мы избегаем затрат пропускной способности памяти, связанных с наивной оценкой по полному KV-кэшу, без необходимости в дополнительном KV-кэше, используемом методами разреженного внимания. На LongBench SSA стабильно превосходит базовые методы сжатия и разреженного внимания во время вывода при том же коэффициенте сжатия. Еще более примечательно, что в генерации с дополнением на основе поиска SSA может даже превосходить полное внимание после продолженного предварительного обучения более чем на 5,7 пункта. Мы объясняем это способностью выборочного развертывания SSA, которое концентрирует внимание на релевантных запросу блоках и эффективно отфильтровывает шум. SSA также расширяется до иерархического варианта «суть сути» (H-SSA), который достигает логарифмически-линейной сложности декодирования, сохраняя или повышая точность при высоких коэффициентах сжатия до 32x. Код доступен по адресу https://github.com/yuzhenmao/simplified-sparse-attention/.
Токенизация является ключевым этапом адаптации научных данных для трансформерных базовых моделей, однако её влияние на получаемые представления остаётся слабо изученным. Мы сравниваем четыре стратегии токенизации: Affine, AIM, JetFormer и VQ-VAE — в рамках единой трансформерной архитектуры для астрономических изображений. Используя 640 000 изображений галактик из обзора DESI Legacy Survey и общую основу AstroPT, мы оцениваем каждый метод по точности восстановления и предсказанию физических свойств. Наши результаты выявляют компромиссы между подходами. Потоковый JetFormer достигает более высокого качества восстановления, тогда как VQ-VAE демонстрирует высокую эффективность зонда для физических свойств галактик. Affine и AIM лучше сохраняют информацию о локальной морфологии. Мы обнаруживаем, что качество восстановления и качество представлений разъединены, и ни один метод неизменно не показывает наилучших результатов во всех рассмотренных задачах. Обосновывая нашу оценку независимо измеренными физическими величинами, мы надеемся, что данное исследование послужит демонстрацией потенциала научных данных как основы для создания интерпретируемых эталонов для базовых моделей.
LLM-агенты для исправления программ всё чаще строятся на парадигме «генерация–запуск–доработка», выполняя тесты итеративно для оценки и улучшения патчей. Этот подход, основанный на выполнении кода, стал стандартной практикой в современных системах. Однако выполнение может быть трудоёмким и дорогостоящим, при этом его влияние на таких агентов остаётся недостаточно изученным. В данной статье мы проводим двухэтапное эмпирическое исследование поведения выполнения в LLM-агентах, предназначенных для исправления программ. Чтобы охарактеризовать поведение выполнения в масштабе, мы сначала анализируем 7 745 трасс агентов из заявок на доску лидеров SWE-bench. На втором этапе мы оцениваем 3 000 сквозных попыток исправления по 200 экземплярам SWE-bench для трёх агентов (Claude Code, Codex и OpenCode с открытым исходным кодом) в рамках четырёх парадигм выполнения, что позволяет провести детальное сравнение производительности и стоимости. Наш анализ выявил три ключевых наблюдения: (1) Исполнение кода используется во всех проанализированных агентах и моделях, в среднем 8,8 тестовых запусков на задачу. Поведение выполнения существенно различается между агентами и моделями: частота варьируется от 2 до 19 на задачу, при этом выполнения на поздних этапах стабильно достигают более высоких показателей успеха, чем на ранних. (2) Ограничения выполнения мало влияют на успех исправления: у коммерческих агентов с моделями SOTA разница в показателе разрешения между режимами «Запрещено» и «Без ограничений» составляет всего 1,25 процентных пункта и не является статистически значимой, при этом режим «Запрещено» экономит значительные ресурсы токенов и реального времени. (3) Польза от выполнения сосредоточена, а не равномерна. Эти закономерности указывают на то, что современные агенты применяют выполнение без разбора, неся его стоимость на тех экземплярах, где оно приносит мало пользы. Таким образом, выполнение следует рассматривать как ресурс с явным компромиссом между затратами и выгодой, а не как возможность по умолчанию.
Омни-модальные модели могут обрабатывать видео, аудио и текст, однако унифицированный доступ к нескольким модальностям не гарантирует, что модель использует правильные свидетельства. Этот разрыв особенно заметен в задаче ответов на вопросы по социальным видео, где ответ может зависеть от жеста, тона голоса, временной подсказки или несоответствия между тем, что говорится, и тем, что выражается визуально. Мы представляем CogniRoute — фреймворк на основе смеси экспертов с направляющей схемой для социального омни-рассуждения. CogniRoute использует когнитивную схему, применяемую только во время обучения, которая факторизует каждый пример по кросс-модальным отношениям, требованиям к рассуждению и временному охвату, и выравнивает глобальные сигнатуры маршрутизации с этой структурой в процессе контролируемой тонкой настройки. Кроме того, мы вводим метод обучения с подкреплением, учитывающий маршруты, который совместно оптимизирует генерацию токенов и распределение экспертов, используя вознаграждения за правильность ответа, модально-согласованное рассуждение и когнитивную временную привязку. Для поддержки обучения и оценки мы создали OmniSocialBench — диагностический ресурс для ответов на вопросы по социальным видео, содержащий 118 тысяч структурированных обучающих примеров, обоснованные цепочки рассуждений, метки схем, временные отрезки доказательств и вручную проверенный оценочный раздел. CogniRoute достигает средней точности 59,38% на OmniSocialBench, улучшая показатели по сравнению с сильнейшим проприетарным базовым методом на 15,33 процентных пункта и с сильнейшим открытым омни-базовым методом на 26,77 пункта, причем наибольший прирост наблюдается на вопросах, требующих аудиовизуальной координации, разрешения конфликтов и темпорально обоснованного социального вывода.
Большие языковые модели (LLM) могут упростить использование научного программного обеспечения. Однако общая модель не знает автоматически, какие измерения может поддерживать конкретный датчик, какие алгоритмы реализованы в текущем программном обеспечении или какие выводы обоснованы полученным результатом. Эти различия особенно важны для малоканальной электроэнцефалографии (ЭЭГ), где разреженное пространственное покрытие и изменчивое качество сигнала позволяют легко получать правдоподобные, но необоснованные интерпретации. Мы представляем NeuraDock Agent — открытую архитектуру, которая разделяет детерминированный локальный движок ЭЭГ и аппаратно-осведомлённый языковой слой. Численный движок разбирает записи, выполняет контроль качества, реализует проверенные спектральные рабочие процессы и создаёт машиночитаемые артефакты. LLM получает только компактную допустимую сводку и версионированный контекстный пакет. Контекст описывает семиканальное оборудование, проверенные рабочие процессы, поля результатов, границы реализации, научные ограничения и эталонные случаи. Сырые данные ЭЭГ и плотные поэлементные массивы остаются локальными. Мы оцениваем систему на трёх уровнях. Во-первых, 12 записей дали идентичные структурированные результаты при десяти численных повторениях, а полный запуск Rest/Task дал идентичные хеши результатов, отчёта и рисунков при трёх повторениях. Во-вторых, эксперименты по захвату запросов и внедрению сбоев подтвердили протестированную границу данных и сохранение локальных артефактов при сбоях HTTP, некорректного вывода и подключения. В-третьих, тест осведомлённости о границах проверил 36 обычных и конфронтационных вопросов при четырёх абляциях контекста и двух LLM, что дало 288 выходов. Эти результаты подтверждают привязку, учитывающую аппаратные и реализационные особенности, как практический механизм калибровки того, что агент ЭЭГ принимает, квалифицирует или отклоняет; они не устанавливают клиническую валидность или валидированный абсолютный индекс когнитивной нагрузки.