Ежедневно отобранные исследовательские статьи по ИИ с переводами
Мы представляем PerceptionRubrics — основанную на рубриках систему оценки, которая устраняет разрыв между насыщенными эталонными показателями и хрупкостью в реальных условиях. Перенося оценку с целостного семантического сопоставления на строгий атомарный аудит, PerceptionRubrics объединяет 1038 информационно-насыщенных изображений с более чем 12 000 специфичных для экземпляров рубрик. Эти критерии получены из золотых подписей, построенных с помощью нового конвейера консенсуса циклического рецензирования, а затем дистиллированы в двухпоточную систему рубрик Must-Right (обязательные факты) и Easy-Wrong (детализированные подробности). Важно, что PerceptionRubrics реализует механизм стробированного скоринга: в отличие от линейных средних, неудача в отношении обязательных визуальных фактов влечет резкие бинарные штрафы. Обширная оценка дает критические выводы: (1) Разрыв в надежности: модели часто правильно проверяют фрагментированные элементы, но не справляются со строгими конъюнктивными ограничениями, что выявляет хрупкость в плотных доменах; (2) Стратификация открытости-закрытости: вопреки трендам в рассуждениях, мы обнаруживаем устойчивый 8% дефицит восприятия между открытыми и проприетарными передовыми моделями; и (3) Строгость, согласованная с человеком: наши стробированные метрики значительно превосходят по согласованию обычные бенчмарки, подтверждая, что строгая перцептивная точность является предпосылкой для надежной генерации.
Потоковая генерация видео становится новой рабочей нагрузкой, при которой пользователи взаимодействуют с долгоживущими сеансами, генерирующими видео прогрессивно, чанк за чанком. В отличие от автономной генерации видео или типичного обслуживания LLM, потоковая генерация видео должна сохранять состояние сеанса как в активные, так и в простой периоды, многократно планировать выполняющиеся сеансы и доставлять каждый чанк с жесткими требованиями к задержке. Это создает две ключевые проблемы обслуживания в многопользовательских многопроцессорных средах GPU: гетерогенность длительности сеансов, при которой длительные сеансы со временем делают решения о размещении неоптимальными, и временная гетерогенность пользовательского спроса, при которой количество активных сеансов резко колеблется между пиками нагрузки и простоями. Мы представляем TurboServe — первую систему обслуживания, специально разработанную для рабочих нагрузок потоковой генерации видео. TurboServe формулирует обслуживание как задачу онлайн-планирования, которая совместно координирует размещение сеансов и выделение GPU. Его алгоритм планирования с обратной связью объединяет контроллер размещения с учетом миграции, который перераспределяет сеансы между GPU для снижения максимальной задержки на чанк, и контроллер автоматического масштабирования на основе нагрузки, который адаптирует бюджет GPU к изменениям рабочей нагрузки для повышения экономической эффективности. Для поддержки этих решений во время выполнения TurboServe реализует объединенную обработку чанков для пакетирования одновременных активных сеансов на одном GPU, выгрузку GPU-CPU для приостановки и возобновления сеансов, а также миграцию между GPU на основе NCCL для онлайн-перебалансировки. Мы оцениваем TurboServe на реальных производственных трассах компании Shengshu Technology для нескольких размеров моделей и кластеров GPU с до 64 NVIDIA B300 GPU. По сравнению с базовыми конфигурациями обслуживания, TurboServe в среднем снижает худшую задержку на чанк на 37,5% и общую стоимость эксплуатации GPU на 37,2%. Наш код доступен публично по адресу https://github.com/shengshu-ai/TurboServe.
При разобщенном обслуживании LLM с фазами prefill и decode (PD) каждый запрос после фазы prefill назначается на воркер decode. Существующие маршрутизаторы decode балансируют только нагрузку; для моделей со смесью экспертов (MoE) этого недостаточно: одинаково загруженные воркеры могут различаться по задержке, поскольку каждый шаг decode загружает веса всех различных экспертов, активированных его батчем. Мы представляем ELDR — маршрутизатор decode, учитывающий локальность экспертов для PD-разобщенного обслуживания MoE. На основе активаций экспертов во время prefill запроса ELDR строит сигнатуру эксперта, предсказывающую, какие эксперты будут активированы в ходе генерации. Офлайн сбалансированное K-средних разбивает пространство сигнатур между воркерами decode; онлайн маршрутизация с учетом локальности отправляет каждый запрос на наименее загруженный воркер среди тех, чья сигнатура наилучшим образом совпадает с его собственной. Кэш сигнатур, совместно индексированный с кэшем KV на уровне блоков KV, сохраняет точность сигнатур при кэшировании префиксов. Реализованный в vLLM и оцененный на развертываниях до 40 GPU, ELDR снижает медианный TPOT на 5.9–13.9% по сравнению с сильнейшим из четырех базовых алгоритмов балансировки нагрузки для трех моделей MoE и двух рабочих нагрузок, при этом выходные данные моделей остаются неизменными.
Память стала краеугольным камнем современных агентов на основе больших языковых моделей (LLM), обеспечивая их эволюцию от одношаговых ассистентов до долгосрочных коллабораторов. Однако память не всегда полезна: извлеченные воспоминания часто вызывают критическую проблему подхалимства, заставляя агентов чрезмерно подстраиваться под пользователя в ущерб фактической точности или объективному рассуждению. Несмотря на возникающий риск, существующие бенчмарки памяти в основном оценивают, правильно ли воспоминания хранятся, извлекаются или обновляются, упуская из виду, как извлеченные воспоминания влияют на последующие рассуждения и принятие решений. Чтобы восполнить этот пробел, мы предлагаем MemSyco-Bench — комплексный бенчмарк для оценки подхалимства, вызванного памятью, в системах агентов. MemSyco-Bench измеряет, когда память должна влиять на решение и как следует использовать валидные воспоминания. В частности, он охватывает пять задач, оценивающих, способны ли агенты отвергать память как фактическое свидетельство, учитывать сферу ее применимости, разрешать конфликты между памятью и объективными данными, отслеживать обновления памяти и использовать валидные воспоминания для персонализации. Все соответствующие ресурсы собраны для сообщества по адресу https://github.com/XMUDeepLIT/MemSyco-Bench.
Мы представляем Seed2.0 — серию моделей, которая делает значительный шаг к решению сложных реальных задач. Наш подход начинается с выявления подлинных потребностей пользователей и создания надежной, ориентированной на будущее системы оценки путем отбора и абстрагирования бенчмарков, основанных на этих потребностях и реалистичных сложных сценариях. Руководствуясь этой системой оценки, Seed2.0 нацелена на две устойчивые проблемы — знания с длинным хвостом и следование сложным инструкциям, что существенно повышает надежность модели при выполнении сложных долгосрочных задач. Помимо этого, Seed2.0 обеспечивает интеллект мирового уровня в области рассуждений, понимание визуальных данных и поисковые возможности, отвечающие наиболее распространенным потребностям широкой пользовательской базы. Посредством обширных примеров реального использования, задокументированных в данной карточке модели, мы демонстрируем, что Seed2.0 начинает проявлять способность справляться с первыми сложными реальными задачами, принося еще большую пользу сотням миллионов пользователей.
Мультимодальные большие языковые модели (МБЯМ) часто ограничены узким местом в языковом пространстве, вынуждающим кодировать сложные визуальные рассуждения в дискретные токены, что может приводить к потере нюансов восприятия. Перспективной альтернативой является непрерывное латентное рассуждение, цель которого — обнаружение неявных путей рассуждения, связывающих мультимодальный запрос с окончательным ответом. Однако это порождает серьезное несоответствие между обучением и выводом: апостериорное распределение на этапе обучения, обусловленное истинным ответом, может эксплуатировать зависимые от ответа короткие пути. Стандартное вариационное обучение заставляет априорное распределение на этапе вывода подражать апостериорному, которое имеет доступ к информации, недоступной во время тестирования, что приводит к низкой производительности. Для решения этой проблемы мы предлагаем асимметричное взаимное вариационное обучение (AMVL) — подход, устраняющий данное несоответствие с помощью двунаправленной цели калибровки. Прямая дивергенция Кульбака–Лейблера (KL) обучает не зависящее от цели априорное распределение соответствовать апостериорному, в то время как новая обратная дивергенция KL одновременно регуляризирует апостериорное распределение, предотвращая его коллапс в несовместимые с выводом области и смягчая эту «утечку ответа». Мы приводим теоретический анализ, формализующий эту утечку как загрязнение априорного распределения, и доказываем, что наша двойная KL-цель уменьшает ее. Мы реализуем AMVL в МБЯМ с интегрированным латентным пространством и показываем, что она стабильно превосходит сильные базовые подходы как с дискретным, так и с латентным рассуждением, увеличивая средний балл на сложном эталонном тесте BLINK на +10.83 и достигая прироста до +32.00 на отдельных задачах рассуждения, причем анализ подтверждает улучшенную стабильность латентного пространства.
Модели «Видение-Язык-Действие» (Vision-Language-Action, VLA) часто не могут выполнять одни и те же изученные задачи при изменениях окружающей среды, таких как смещение положения камеры или переход на другой, но похожий робот (например, с Panda на UR5e). Адаптация этих моделей к изменённой среде (т.е. целевому домену) обычно требует обучения на нескольких демонстрациях для каждой задачи, что дорогостояще в сборе. Чтобы снизить нагрузку по сбору данных и обучению, мы предлагаем основанный на аналогиях метод адаптации VLA-моделей к изменениям среды с помощью арифметики векторов весов с добавлением специфичной для домена информации — Domain ARiThmetic (DART). В отличие от предыдущих подходов, DART требует сбора всего одной демонстрации, что обеспечивает эффективную адаптацию. Для точного выделения специфичной для домена информации, подлежащей добавлению, DART выполняет выравнивание подпространств между сингулярными компонентами в векторах весов, чтобы отфильтровать зашумленные компоненты. В экспериментах как в симуляции, так и в реальном мире, DART превосходит существующие методы адаптации VLA в сценариях однократного обучения при разнообразных визуальных смещениях и изменениях воплощения. Код доступен по адресу https://github.com/snumprlab/dart.
В обучении больших языковых моделей (БЯМ) смешивание данных играет ключевую роль в определении производительности модели. Современные методы оптимизируют веса смеси с помощью прокси-моделей, однако они опираются на предположение о статичности распределений данных. В результате, при изменении базового пула данных эти методы требуют дорогостоящего переобучения с нуля. Данное ограничение мешает им масштабироваться от небольших конфигураций к более крупным пулам данных и размерам моделей. В этой статье мы предлагаем метод CausalMix для преодоления этого ограничения, формулируя оптимизацию смеси данных как задачу причинно-следственного вывода. Мы представляем статистические характеристики пула данных в качестве ковариат, а доменную смесь — в качестве воздействия. После подгонки причинно-следственной модели на 512 запусках Qwen2.5-0.5B для оценки усредненного условного эффекта воздействия (CATE) мы экстраполируем оптимальную смесь для пула данных объёмом 800 тыс. токенов и применяем её для обучения модели на 7B параметров. Кроме того, мы успешно обобщаем этот подход на данные с длинными цепочками рассуждений на основе Qwen3-4B-Base. Используя причинно-следственное моделирование для устранения смещающих факторов, CausalMix динамически определяет оптимальные смеси данных, зависящие от состояния. Обширные эксперименты показывают, что смесь, полученная с помощью CausalMix, последовательно улучшает производительность на множестве целевых задач, превосходя RegMix и другие базовые методы. Помимо этого, мы используем интерпретатор CATE для визуального анализа изученной стратегии смешивания. В целом, CausalMix предлагает причинно-следственную и интерпретируемую основу для оптимизации смесей данных в БЯМ.
Традиционное программирование роботов является сложной задачей: оно требует координации мультимодального восприятия, управления динамикой физического контакта, а также обработки разнообразных конфигураций и сбоев выполнения. Мы представляем ASPIRE (Agentic Skill Programming through Iterative Robot Exploration) — систему непрерывного обучения, которая автономно создаёт и улучшает программы управления роботом в парадигме «код как политика», накапливая опыт в многократно используемую библиотеку навыков. ASPIRE обнаруживает навыки, сохраняющиеся в различных задачах, условиях симуляции и реального мира, а также воплощениях. Система функционирует в открытом цикле, состоящем из трёх компонентов: (1) движок выполнения робота с замкнутым контуром, предоставляющий детальные мультимодальные трассы, что позволяет автономно диагностировать сбои, синтезировать исправления и проводить проверку; (2) постоянно расширяемая библиотека навыков, преобразующая проверенные исправления в повторно используемые и переносимые знания; (3) эволюционный поиск, генерирующий разнообразные последовательности задач и управляющие программы для исследования за пределами улучшения одной траектории. ASPIRE превосходит предыдущие методы на величину до 77% в задачах манипуляции LIBERO-Pro при возмущениях, на 72% в двуручной передаче Robosuite и на 32% в долгосрочных бытовых задачах BEHAVIOR-1K. Накопленная библиотека также обеспечивает обобщение zero-shot на невидимые долгосрочные задачи: на LIBERO-Pro Long ASPIRE достигает 31% успеха против 4% у предыдущих методов, несмотря на использование ими рассуждений во время тестирования и повторных попыток. Наконец, навыки, обнаруженные в симуляции, предоставляют первоначальные доказательства переноса из симуляции в реальность (sim-to-real), значительно сокращая усилия по программированию реального робота для различных воплощений и интерфейсов прикладного программирования (API) роботов.
Тонкозернистое визуальное рассуждение остаётся сложной задачей для визуально-языковых моделей, особенно когда небольшие, но критически важные визуальные подсказки скрыты в изображениях высокого разрешения. Существующие подходы полагаются на многократное кадрирование или визуальный поиск во время тестирования для получения локальных свидетельств, однако они, как правило, не проводят явного разграничения между восприятием и рассуждением. В данной статье мы предлагаем P2R (Perceive-to-Reason) — единый фреймворк, который формулирует тонкозернистое визуальное рассуждение как двухстадийный процесс: сначала модель локализует релевантные вопросу свидетельства в роли Воспринимающего модуля (Perceiver), а затем отвечает на вопрос в роли Рассуждающего модуля (Reasoner) на основе аннотированного изображения и вырезанных областей. Для лучшего согласования обучения с такой декомпозицией мы дополнительно вводим PRA-GRPO (Perception-Reasoning Alternating GRPO) — ролевую стратегию обучения с подкреплением, которая чередует обновления, ориентированные на восприятие, и обновления, ориентированные на рассуждение, используя только супервизию по финальному ответу. Построенная на основе Qwen3-VL-Instruct-2B/4B/8B, модель P2R стабильно улучшает производительность при различных масштабах моделей. В частности, P2R-4B достигает 93.2% на V-Star, 81.9% на HR-Bench-4K и 80.5% на HR-Bench-8K, существенно превосходя соответствующую базовую архитектуру. Дальнейшие эксперименты показывают, что преимущества P2R распространяются за пределы бенчмарков высокого разрешения на более широкий круг задач мультимодального рассуждения. Эти результаты свидетельствуют о том, что явное разделение восприятия и рассуждения обеспечивает эффективный фреймворк для тонкозернистого визуального рассуждения.
Мобильная манипуляция является ключевой способностью для роботов общего назначения, однако она остается сложной задачей для современных методов воплощенного обучения. Политики VLA, как правило, реактивны и лишены явного моделирования мира, в то время как существующие Мировые модели действий (WAMs) все еще плохо согласованы со структурой мобильной манипуляции: они работают с крупными видеосегментами, моделируют связанные действия навигации и манипуляции, а обучают обратную динамику под наблюдением, не соответствующим авторегрессионному выводу. В результате они часто упускают тонкую динамику контактов, страдают от конфликтов распределения действий и накапливают ошибки при длительных развертываниях. Мы предлагаем ABot-M0.5 — новую WAM, основанную на понимании того, что мобильная манипуляция требует согласования на трех уровнях: временной детализации, пространства действий и согласованности обучения и тестирования. Для согласования временной детализации мы вводим промежуточные латентные действия, которые фиксируют локальные переходы визуальных состояний и служат связующим пространством действий между видеолатентами и специфичными для воплощения контроллерами. Для согласования пространства действий мы проектируем двухуровневую архитектуру смеси трансформеров, разделяющую как модальные представления, так и гетерогенные подпространства действий, такие как перемещение базы и манипуляции рукой. Для согласования условий вывода мы предлагаем стратегию обучения dream-forcing, которая постепенно обучает обратную динамику на предсказанных моделью видео, улучшая согласованность обучения и тестирования, а также устойчивость при авторегрессионном прогнозировании. Эксперименты на сложных эталонах мобильной и тонкой манипуляции показывают, что ABot-M0.5 достигает передовой производительности как в успешности долгосрочных задач, так и в точности тонкого управления. Эти результаты подчеркивают критическую важность моделирования мира и действий, согласованного по детализации, развязанного по действиям и последовательного при выводе.
Обучение языковых моделей (ЯМ) остается крайне трудоемким процессом, даже по мере того, как передовые агенты на основе языковых моделей становятся все более способными в области разработки программного обеспечения и других долгосрочных задачах. Ключевая проблема заключается в том, что автономное пост-обучение — это не просто задача кодирования: оно требует от агента многократного планирования итераций, создания данных, соответствующих бенчмаркам, запуска стабильных учебных заданий, оценки контрольных точек и сохранения состояния эксперимента в течение многих часов взаимодействия. Мы представляем AutoTrainess — агента на основе ЯМ, который предоставляет эти операции в виде репозитория интерфейсов «агент-компьютер» для планирования, подготовки данных, обучения, оценки и ведения журналов. Вместо того чтобы оставлять агенту возможность действовать в необработанной среде командной строки с недостаточно определенным пространством действий, AutoTrainess экстернализует предшествующий человеческий опыт в виде явных рабочих процессов, правил и ограничений выполнения, которые направляют агента к эффективному и надежному поведению при обучении. На PostTrainBench AutoTrainess стабильно превосходит базовые решения, использующие только CLI, достигая среднего балла 26,94 при использовании GPT-5.4 (Codex) против 23,21 для CLI-only. Он также обобщается на разные модели и инструментальные средства, улучшая результат DeepSeek-V4-Flash (OpenCode) с 12,13 до 19,58.
Трансформеры используют один и тот же поток прямых вычислений как для предсказания следующего токена, так и для хранения полезного состояния для будущих предсказаний токенов. Мы формулируем гипотезу разделения состояния и предсказания: разделение этих двух ролей приводит к лучшей производительности языкового моделирования. Мы разрабатываем вариант трансформера, который использует два потока вычислений для разделения этих функций, и проводим эксперименты по предобучению в различных масштабах. Наши эксперименты показывают, что разделение состояния и предсказания последовательно обеспечивает более высокую эффективность использования данных и вычислительных ресурсов, улучшая потери на валидации и в среднем превосходя стандартные трансформеры на 2–3 процентных пункта на последующих задачах. Мы также проводим обширный эмпирический анализ, который исключает возможные смешивающие факторы и демонстрирует фундаментальное различие в градиентах, вытекающее из нашей конструкции.
Биомедицинские исследователи всё чаще используют созданные ИИ анализы и отчёты для интерпретации сигналов на уровне белков, однако статические выходные данные часто недостаточны для принятия решений в исследованиях, где пользователям необходимо изучать доказательства, оценивать неопределённость, сравнивать механизмы и уточнять гипотезы. Мы представляем BioInsight — мультиагентную систему, которая переходит от статической генерации биомедицинских отчётов к интерактивной генерации интерфейсов, ориентированных на доказательства. Получив название заболевания, таблицу ассоциаций белков и необязательные метаданные когорты, BioInsight организует специфические для заболевания доказательства через типизированные промежуточные артефакты, включая ранжированные пути, пакеты литературных доказательств, заметки о рассуждениях на уровне белков, отчёты с цитатами, схемы информационных панелей и визуализированные интерактивные интерфейсы. Система разделяет извлечение доказательств и механистическое рассуждение, нормализует цитирование с помощью детерминированных компонентов и преобразует те же структурированные доказательства, используемые в отчёте, в интерактивный интерфейс. Мы оцениваем BioInsight на стандартизированных биомедицинских вопросах-ответах, сложных рассуждениях о функции белков и сквозном синтезе биомедицинских доказательств. Результаты показывают, что BioInsight достигает наилучших показателей, и предполагают, что биомедицинские системы ИИ должны выходить за рамки только текстовых и статических отчётов в сторону интерактивных артефактов, сохраняющих происхождение данных.
Мировые модели могут обеспечить модельно-прогностическое управление (MPC), однако для этого требуется прогнозирование динамики, которое одновременно достаточно быстро для использования в реальном времени и достаточно выразительно для представления неопределенных будущих состояний. Диффузионные модели предлагают естественный механизм моделирования неопределенной динамики, однако их итеративная процедура вывода затрудняет их применение для малозатратного латентного планирования. Мы преодолеваем этот разрыв с помощью Value Diffusion World Models (Valdi), объединяя сквозное онлайн-обучение для MPC с латентной диффузионной моделью динамики. В предварительных экспериментах на среде CarRacing мы показываем, что Valdi, использующий один шаг диффузии как при обучении, так и при выводе, достигает производительности детерминированного базового MLP. Наши эксперименты выявляют компромисс между прогностической мультимодальностью и качеством управления в данной конфигурации. Код доступен по адресу https://github.com/Kit115/ValueDiffusionWorldModels.
Облегченные модели машинного обучения все чаще предлагаются для обнаружения вторжений в сетях Промышленного Интернета Вещей (ПИВ) благодаря их пригодности для развертывания на граничных устройствах с ограниченными ресурсами. Большинство опубликованных результатов оценивают эти модели только в пределах их обучающей сети, оставляя поведение на невидимых сетях непроверенным. В данном исследовании четыре облегченные архитектуры обучаются на одном наборе данных ПИВ и оцениваются без переобучения на двух структурно различных наборах данных ПИВ с использованием представления признаков, ограниченного атрибутами, доступными во всех трех источниках. Анализ объяснимости двух наилучших моделей показывает, что обе они в значительной степени полагаются на грубые категориальные признаки портов; наиболее влиятельная категория встречается в атаковом трафике исходного домена с частотой от 96 до 435 раз выше, чем в двух целевых доменах, что указывает на то, что огрубление разрешения портов перемещает, а не устраняет задокументированный короткий путь. Оценка при естественно несбалансированных распределениях классов выявляет дополнительный эффект: используемый протокол оценки может изменить на противоположное то, какая целевая сеть, по-видимому, представляет большую проблему для обобщения. Также оцениваются устойчивость к состязательным атакам и восстановление за счет ограниченного воздействия целевого домена; устойчивость к состязательным возмущениям не связана с обобщением между сетями, а восстановление путем адаптации существенно варьируется в зависимости от архитектуры. Эти результаты свидетельствуют о том, что готовность к развертыванию следует оценивать с помощью кросс-сетевой оценки при реалистичных распределениях классов, а не только по точности в пределах домена.
Бенчмарки оптимизации производительности на уровне репозиториев, такие как GSO, SWE-Perf и SWE-fficiency, оценивают кодовые агенты путём применения патчей к реальным репозиториям и сравнения времени выполнения с неоптимизированными базовыми показателями и официальными эталонными патчами. Их баллы в таблицах лидеров всё чаще используются как свидетельство прогресса кодовых агентов, однако эти баллы могут смешивать в себе нестабильность времени выполнения, специфические для бенчмарка правила оценки и то, сколько задач уже решено хотя бы одним публичным решением. Мы анализируем эти проблемы в рамках трёх бенчмарков. Во-первых, мы воспроизводим официальные эталонные патчи для 740 задач оптимизации кода на машинах Google Cloud четырёх распространённых типов. Большинство задач бенчмарков можно воспроизвести, но их эталонные патчи удовлетворяют исходным правилам валидности бенчмарков при каждом межмашинном воспроизведении лишь для 39 из 102 задач GSO, 11 из 140 задач SWE-Perf и 411 из 498 задач SWE-fficiency; SWE-Perf особенно чувствителен, поскольку многие эталонные патчи дают изменения времени выполнения, близкие к нулю. Во-вторых, мы показываем, что рейтинги публичных решений сильно зависят от правил оценки бенчмарка. Среди восьми публичных решений, общих для GSO и SWE-fficiency, официальные рейтинги расходятся в 9 из 28 попарных сравнений решений, а правило оценки таблицы лидеров SWE-fficiency присваивает десяти худшим задачам чрезмерно высокие веса баллов (58.5%–82.8%). В-третьих, анализируя по 10 публичных решений для каждой задачи, мы находим, что хотя бы одно решение достигает или превосходит эталонный патч в 85.3% (384 из 450) задач GSO и SWE-fficiency, валидных при воспроизведении, и превосходит неоптимизированный базовый код в 99.8% (449 из 450). Наше исследование дополняет баллы таблиц лидеров, выявляя задачи с более надёжными показателями производительности, количественно оценивая вклад каждого задания в баллы и раскрывая остающиеся разрывы в производительности, которые скрыты агрегированными рейтингами.
Ускорение открытия материалов требует систем ИИ, способных генерировать научно обоснованные гипотезы посредством многошаговых рассуждений, опирающихся на предметную область. Стандартные большие языковые модели часто дают беглые, но слабо прослеживаемые ответы на открытые задачи проектирования материалов, что затрудняет определение того, подкреплены ли окончательные ответы последовательными промежуточными рассуждениями. Мы разрабатываем Graph-PRefLexOR — семейство моделей рассуждений, основанных на графах, дообученных с помощью групповой относительной оптимизации политики (GRPO) для организации рассуждений в явные фазы: исследование механизмов, построение графов, извлечение шаблонов и синтез гипотез. Такая архитектура связывает нейросетевую генерацию языка с символической реляционной структурой, позволяя строить, проверять и повторно использовать причинно-следственные связи. На 100 открытых вопросах из литературы по материаловедению и механике Graph-PRefLexOR показывает улучшение на 40–65% по сравнению с соответствующими базовыми моделями, причем наибольший прирост приходится на прослеживаемость рассуждений. Анализ эмбеддингов демонстрирует более широкое семантическое исследование и примерно в 2–3 раза большее семантическое разнообразие по сравнению с базовыми моделями. Семантический возврат и послойный анализ скрытых состояний также показывают более сильное согласование между структурированными рассуждениями и окончательными ответами. Наконец, расширение графов во время тестирования показывает, что дополнительные вычислительные ресурсы в первую очередь увеличивают рекомбинацию концепций на больших расстояниях в ограниченном семантическом пространстве, а не просто расширяют семантическое покрытие. Эти результаты обосновывают графоориентированное обучение с подкреплением как путь к интерпретируемым системам ИИ для генерации научных гипотез в области проектирования материалов и других научных приложений.
Традиционные метрики для генерации медицинских отчетов (Medical Report Generation, MRG) в основном опираются на поверхностное совпадение n-грамм, что не позволяет оценить клиническую фактическую точность и часто упускает катастрофические диагностические ошибки. Мы устраняем это фундаментальное ограничение, предлагая AtomiMed — универсальную, не зависящую от модальности систему оценки, которая декомпозирует сложные медицинские нарративы в стандартизированную многоуровневую иерархию атомарных клинических фактов (Atomic Clinical Facts), включающую сущности уровня заболевания (Disease-level) и дескрипторы уровня атрибутов (Attribute-level), такие как локализация, морфология и тяжесть. Реализуя цикл агентной кросс-верификации (Agentic Cross-Verification) между эталонными и предсказанными отчетами, AtomiMed имитирует процесс многостороннего рецензирования радиологами для проверки клинической согласованности, что позволяет проводить раздельную оценку точности диагностического обнаружения и описания. Для обеспечения стандартизированной оценки мы представляем MRGEvalKit — инструментарий с открытым исходным кодом для автоматизированного иерархического извлечения, а также курируем OmniMRG-Bench — комплексный мультимодальный бенчмарк, охватывающий рентгенографию, КТ, МРТ и ультразвук. Обширные эксперименты на нескольких исследованиях с экспертной разметкой демонстрируют, что AtomiMed достигает значительно более высокой корреляции с оценкой человека-радиолога по сравнению с традиционными и модельно-ориентированными метриками. Наш код опубликован по адресу https://github.com/Venn2336/MRGEvalkit.
Хотя большие языковые модели (LLM) хорошо справляются с задачами, связанными с таблицами, они всё же допускают ошибки ссылок на данные (ОСД), то есть некорректно цитируют или пропускают значения таблиц, несмотря на понимание структуры таблицы. Помимо точности итогового ответа, ОСД напрямую подрывают корректность и надёжность промежуточных этапов рассуждения. Однако предыдущие исследования предлагали лишь ограниченный мелкомасштабный анализ. В этой работе мы представляем первую систематическую оценку ошибок ссылок на табличные данные для различных моделей и задач. Наши результаты показывают, что ОСД возникают во всех протестированных моделях (от 1,7 миллиарда до 20 миллиардов параметров). Кроме того, мы демонстрируем, что включение ссылок на данные в качестве критика значительно повышает точность ответов – до 12,0% – с помощью фильтрации на основе критика и выборки с отклонением. Наконец, мы обучили лёгкую модель-критик с 4 миллиардами параметров, которая достигает среднего F1-показателя 78,2% в обнаружении как ошибок ОСД внутри распределения, так и вне его, и эффективно помогает в выводе для более крупных моделей.
Бенчмарки широко используются для оценки выполнения задач крупными языковыми моделями (LLM), однако такой подход накапливает проблемы конструктной валидности, и успешный проходной балл может не свидетельствовать о том, что запрошенная задача действительно была решена. Мы изучаем обе проблемы. В контролируемой среде «код как спецификация» два продуктивных агента Copilot CLI (claude-opus-4.7, gpt-5.5) заново реализуют таблицу данных React Fluent-UI на Angular в виде многократно используемой библиотеки под скрытым оракулом Playwright, состоящим из 222 тестов, в ходе 18 прогонов и трёх условий доступности оракула. Наряду с баллами мы проводим механический аудит библиотеки и проверяем каждое заключение с помощью холостой абляции. Без оракула библиотека присутствует, но не завершена, что выявляется по баллам. При оракуле в цикле балл достигает почти идеального значения, однако демонстрация, непосредственно демонстрирующая тестируемое поведение, показывает, что библиотека либо остаётся неработоспособной, либо отсутствует вовсе. Мы называем это «построением под тест»; более широкую предрасположенность, стоящую за обоими явлениями, — «самосознанием валидации». Агент сам по себе не проверяет то, что он выпускает, так, как это сделал бы пользователь. Распространённость этого явления остаётся открытым вопросом применительно к другим агентам, сигналам и семействам моделей. Помимо бенчмарковых баллов, предрасположенности вроде самосознания валидации заслуживают исследовательского внимания.
Дизайн слайдов требует персонализации как тем презентаций, так и макетов страниц. Однако существующие методы, основанные на AI-агентах, с трудом справляются с детальным дизайном на уровне страниц. Основываясь исключительно на предопределенных шаблонах или подробных инструкциях пользователя, они не способны улавливать скрытые дизайнерские намерения, что оставляет задачу персонализации слайдов на уровне страниц (PSP) нерешенной. Для устранения этого пробела данная работа формулирует PSP как обратную задачу планирования. Мы предлагаем изучать дизайнерское намерение без какого-либо знания о конкретных используемых инструментах выполнения (например, PowerPoint, Beamer). Однако отказ от контроля над этими инструментами делает проблему сквозной оптимизации неразрешимой. Чтобы преодолеть это, мы предлагаем SPIRE — принципиальную структуру для приближенного решения PSP. Намеренно искажая визуальные структуры чистых слайдов, SPIRE создает проверяемую задачу по устранению искажений, в рамках которой два агента обучаются совместно уточнять исполняемые проекты посредством обучения с подкреплением (RL). Мы представляем доказательство того, что структурное шумоподавление является согласованным суррогатом для PSP, а многопользовательская формулировка строго снижает дисперсию градиента политики в RL. Обширные эксперименты демонстрируют превосходство SPIRE.
Хотя модели типа «Текст в изображение» (Text-to-Image, T2I) продемонстрировали выдающиеся успехи в генерации фотореалистичного визуального контента, они по-прежнему испытывают трудности с обеспечением строгого семантического соответствия и логических рассуждений, необходимых для научной визуализации. Вдохновлённые семиотической триадой Пирса (Peirce's Semiotic Triad), мы представляем ресурс SciIR (Scientific Image Reasoning) — комплексную базу для обучения и оценки генерации научных изображений. Мы формализуем научное рассуждение по трём ключевым измерениям: структура сущности (икона), научный процесс (индекс) и научный закон (символ). В частности, для преодоления нехватки обучающих данных в области генерации научных изображений мы тщательно подготовили SciIR-82k — крупномасштабный набор данных, содержащий более 80 000 высококачественных пар «научное изображение — текст» из передовых публикаций. Этот набор данных иерархически организован в соответствии с семиотическими измерениями и включает «Цепочку научных рассуждений» (Scientific Reasoning Chain-of-Thought, Sci-RCoT) для явного моделирования лежащей в основе визуальной логики. Для оценки мы предлагаем SciIR-Bench, который согласован с указанными тремя семиотическими уровнями и использует «Атомарный контрольный список» (Atomic Checklist) для преобразования ориентированной на результат научной точности в проверяемые, ориентированные на процесс вопросы с высокой степенью детализации. Проведённые нами обширные эксперименты выявляют существенные недостатки текущих моделей в способности к научным рассуждениям. Кроме того, путём тонкой настройки на наборе данных SciIR-82k мы разработали модель Qwen-Image-SciIR, которая демонстрирует значительное улучшение на SciIR-Bench, увеличив итоговый показатель с 35% до 43%, что закладывает прочную основу для будущих достижений в генерации научных изображений.
Автономные системы научных открытий обладают потенциалом ускорения исследований за счет автоматизации процесса генерации и проверки гипотез. Однако текущие системы работают в ограниченных пространствах поиска или требуют заранее заданных исследовательских вопросов, что ограничивает их способность к истинно открытому исследованию. Кроме того, хотя они и генерируют гипотезы итеративно, им в значительной степени не хватает способности явно синтезировать собственные накопленные результаты для выявления сложных взаимосвязанных явлений. Мы представляем DiscoPER — автономную среду на основе большой языковой модели, которая проводит открытые исследования, динамически генерируя и выполняя код для изучения наборов данных без предварительно заданных исследовательских целей. Для обеспечения строгой научной обоснованности каждое предлагаемое открытие должно проходить статистическую проверку. Чтобы преодолеть ограничения изолированного поиска, наша среда вводит механизм рассуждений второго порядка, который периодически анализирует собственные накопленные открытия. Рассматривая предыдущие открытия как эмпирические данные, DiscoPER выявляет структурные закономерности, смешивающие факторы и эпистемические пробелы, активно перенаправляя исследование гипотез в неизведанные области пространства поиска. Пространство поиска дополнительно расширяется за счет использования инструментов, что позволяет системе исследовать гипотезы за пределами структурированных метаданных, беспрепятственно обрабатывая и извлекая полезную информацию из мультимодальных источников, таких как изображения. Оцененный на iNatDisco — новом мультимодальном бенчмарке экологических знаний с эталонными паттернами, полученными из рецензируемой литературы, DiscoPER восстанавливает 8 из 9 известных паттернов с показателем поддержки гипотез 72,7%, превосходя как классические методы выявления причинно-следственных связей, так и базовые подходы с направляющей ролью LLM. Абляционные эксперименты показывают, что DiscoPER масштабируется с увеличением объема данных, и подтверждают преимущества мета-рефлексии второго порядка.
Дистилляция наборов данных «зрение-язык» (VLDD) сжимает большой парный набор данных изображение-текст в небольшой набор синтетических пар, которые могут эффективно обучать контрастивные модели «зрение-язык» при строгих бюджетах данных и вычислений. Большинство существующих методов сопоставляют экспертные траектории или кросомодальные статистики, но при этом по-прежнему накладывают полномерное выравнивание в евклидовом пространстве вложений. Это часто является чрезмерно ограничительным из-за корреляции изображение-текст с дефицитом ранга, при которой общая семантика сосредоточена в низкоразмерном подпространстве, а оставшаяся вариативность распределена по слабо коррелированному остаточному подпространству. LoRS ослабляет выравнивание на уровне сходства с помощью факторизации низкого ранга, но не контролирует явно доминирующую способность и структуру выравнивания в пространстве представлений. Таким образом, мы предлагаем рангово-осознанное гиперболическое выравнивание (RAHA), которое объединяет иерархическую геометрию с явным контролем способности выравнивания. RAHA поднимает мультимодальные представления в гиперболическое пространство и оптимизирует дистиллированные пары с помощью асимметричных целевых функций, которые накладывают геодезическое выравнивание в общем подпространстве, одновременно регуляризируя остаточное подпространство для сохранения внутримодального разнообразия и повышения устойчивости к переносу. Эксперименты на бенчмарках показывают, что RAHA демонстрирует конкурентоспособный кросомодальный поиск и улучшенные показатели переноса при фиксированных бюджетах.
AI-перевод литературных произведений становится всё более распространённым. Хотя содержание может передаваться адекватно, мы недостаточно знаем о том, как читатели воспринимают его с точки зрения погружения и литературного эффекта — аспектов, которые плохо улавливаются автоматическими метриками машинного перевода или человеческой оценкой, нацеленной на беглость и адекватность. Мы попросили 15 заядлых читателей сравнить недавно опубликованные человеческие переводы (ЧП) с машинными переводами (МП), полученными с помощью конвейера на основе агентной большой языковой модели (БЯМ), для 15 недавних романов на французском, польском и японском языках, переведённых на английский. Читатели оценивали отрывки объёмом приблизительно 8000 слов в двух условиях: погружающее чтение всего отрывка (30 сравнений) и вдумчивое чтение 386 выровненных пар фрагментов ЧП-МП (772 сравнения), с двумя читателями на книгу и чередующимся порядком предъявления. В целом читатели находят МП «сносным», но предпочитают ЧП (на уровне отрывков — незначительно: 19/30, на уровне фрагментов — более явно: 522/772) за лёгкость, ясность и способность вызвать погружение. Выделенные читателями места показывают, что качество МП варьируется сильнее в пределах одной книги, чем качество ЧП. Важно, что читатели не могут надёжно различить эти два типа переводов (правильно угадывают 17/30) и склонны предпочитать ту версию, которую считают человеческой. Автоматические метрики, включая подходы с БЯМ в роли судьи, не воспроизводят предпочтения читателей и отдают предпочтение МП. Мы публикуем LAIT (Literary AI Translation) — ориентированный на читателя набор данных для оценки, содержащий 1000 комментариев читателей, 2000 оценок и рейтингов предпочтений, а также 7200 аннотаций на уровне сегментов, вместе с нашим протоколом оценки и поддерживающим интерфейсом.
Данная статья исследует многошаговое визуальное рассуждение и показывает, что мультимодальные большие языковые модели (MLLM) систематически терпят неудачу при локализации цели, что приводит к длинным избыточным траекториям. Мы связываем эту неудачу с переплетением рассуждения и восприятия в рамках единой модели: MLLM рассуждает и локализует одновременно, причем неточная локализация запускает дополнительные шаги рассуждения, раздувающие траекторию. Для решения этой проблемы мы предлагаем PixelEyes — агента многошагового визуального рассуждения, который явно разделяет рассуждение и восприятие, т.е. модуль рассуждения решает, что искать, а специализированный инструмент восприятия отвечает на вопрос «где». В частности, PixelEyes вводит: 1) Масконаправляемый визуальный поиск. Вызывается референтная модель сегментации, обеспечивающая локализацию с точностью до маски, что освобождает модуль рассуждения от необходимости компенсировать неточное сопоставление. 2) Поиск в ширину по семантическим областям (BFS). Чтобы исключить избыточные циклы, возникающие из-за повторного кадрирования неверных подобластей, мы организуем исследование как поиск в ширину по семантическим областям. Для интернализации этих возможностей мы конструируем набор данных PixelEyes-6K путем ресинтеза экспертных траекторий из существующих данных. Это явно встраивает в модель логику нашего масконаправляемого поиска и BFS. Мы также представляем Pinpoint-Bench — бенчмарк визуального поиска без подсказок (т.е. в вопросе не предоставляются координаты цели), содержащий маски и ограничивающие рамки на уровне экземпляров, которые позволяют разделить ошибки локализации и ошибки рассуждения, обеспечивая детальный анализ видов отказов, таких как слепота по невниманию. Современные MLLM и агенты визуального рассуждения оставляют значительный простор для улучшения на Pinpoint-Bench, что подтверждает качество и сложность этого бенчмарка. Код и модели опубликованы в открытом доступе.
Классические подходы к генерации трехмерных графов сцен не могут работать в реальном времени из-за высокой вычислительной стоимости отображения окружения и необходимости создания промежуточных точечно-облачных представлений. Для смягчения этой проблемы в недавней работе отказались от точечных облаков в пользу легковесного гауссова распределения для каждого объекта. Такая аппроксимация значительно ускоряет инференс и позволяет генерировать трехмерные графы сцен в реальном времени. Однако данное представление имеет два ключевых недостатка. 1) Каждый объект аппроксимируется одним трехмерным гауссианом, что приводит к серьезной потере трехмерных геометрических деталей. 2) Расхождение между этой аппроксимацией и истинной геометрией объекта усугубляет неточное слияние кандидатов в объекты во время онлайн-инференса. Для решения этих проблем мы предлагаем NoPA, который представляет каждый объект в виде отдельного непараметрического распределения. Данная формулировка сохраняет трехмерную геометрическую информацию, обеспечивая при этом вывод в реальном времени, как и параметрическая гауссова формулировка. Для развития нашего нового представления объектов мы предлагаем специализированную стратегию слияния, направленную на восстановление согласованных экземпляров объектов. В частности, мы используем максимальное среднее расхождение (MMD) на оценках плотности ядра, чтобы обеспечить надежное слияние кандидатов в объекты во время онлайн-исследования, минимизируя при этом дополнительную вычислительную сложность. Ключевым моментом является поддержание фиксированного набора частиц для каждого объекта. Кроме того, для исправления потери отношений, вызванной неправильно классифицированными объектами, NoPA распространяет связи между объектами с высокой аффинностью. Эксперименты показывают, что NoPA значительно превосходит существующие методы, не жертвуя скоростью вывода в реальном времени.
По мере того как ИИ-агенты становятся всё более способными к сложным долгосрочным рассуждениям, строгая и всесторонняя оценка необходима для измерения прогресса в направлении реальных приложений в здравоохранении. Мы представляем HealthAgentBench — набор из 54 агентных задач в области здравоохранения, охватывающих 7 категорий, каждая со своей уникальной средой. Тестовый набор охватывает разнообразные рабочие процессы на протяжении всего пути пациента, а также широкий спектр модальностей. Каждая задача разработана для воспроизведения сквозного клинического рабочего процесса: при минимальных инструкциях агент должен исследовать необработанные медицинские данные, взаимодействовать в сложной среде и выполнять многошаговые решения, выходящие за рамки наивного промптинга. Итоговый показатель успешности выполнения задач предоставляется в качестве единой интерпретируемой метрики общей производительности HealthAgentBench для каждого агента. Оценка передовых агентов на HealthAgentBench показывает, что общий показатель успешности остаётся низким, что подчёркивает сложность набора. Самый сильный и наиболее экономически эффективный агент, Codex GPT-5.5, достигает лишь приблизительно 42% успешности. Помимо агрегированной производительности, HealthAgentBench выявляет тонкие сильные и слабые стороны в различных категориях задач. Передовые агенты демонстрируют потенциал в автоматической разработке исследовательских конвейеров моделирования на основе данных EHR, однако медицинская визуализация остаётся особенно сложной, особенно для моделей Claude Code, в то время как Codex GPT-5.5 проявляет emerging-способность. Задачи, сочетающие большие пространства поиска с требованиями к композиционному рассуждению, остаются трудными для всех современных агентов. В совокупности эти результаты свидетельствуют о том, что HealthAgentBench представляет собой сложный и реалистичный эталонный тест с существенным пространством для будущего прогресса. Мы публикуем наш тестовый набор по адресу https://github.com/microsoft/HealthAgentBench.
Три из наиболее популярных методов обучения языковых моделей рассуждению выглядят как три разных трюка. Но это не так. Все три регулируют одно число: стандартное отклонение, отражающее степень расхождения ответов, сгенерированных по одному запросу. При обучении такой модели каждый вопрос решается многократно, и автоматическая проверка отмечает каждый ответ как правильный или неправильный. Стандартное отклонение этих меток измеряет степень расхождения: оно максимально, когда ответы поровну разделяются на правильные и неправильные, и равно нулю, когда все они совпадают. Групповая относительная оптимизация политики (GRPO) делит на это число, GRPO, выполненная правильно (Dr. GRPO), отбрасывает деление, а Оптимизация политики с разделённым клиппированием и динамической выборкой (DAPO) отбрасывает группы, в которых это число равно нулю. Каждый метод преподносится как собственное исправление, однако данная статья доказывает, что все они — три положения одного регулятора. Этот регулятор не является косметическим: для наград типа «правильно/неправильно» расхождение в точности равно величине обновления обучения — тождество группового стандартного отклонения. Разделённая группа учит больше всего, тогда как единогласная группа не учит ничему и затихает. Тот же результат показывает, какие проблемы заслуживают наибольшего веса и сколько попыток требуется для каждой. Данная статья подтверждает эту интуицию на большом реальном наборе данных сложности (Big-Math) и в контролируемом процессе обучения. То, что выглядит как безобидный шаг нормализации, на самом деле является регулятором, определяющим, где происходит обучение и насколько интенсивно.
Слепое восстановление резкости изображений требует извлечения высокоточных деталей и согласованных структур из сложных, неизвестных искажений. Современные методы слепого восстановления резкости плохо справляются с реальными пространственно-неоднородными искажениями и лишены семантической осведомлённости, необходимой для надёжного различения корректных текстур и артефактов. Для преодоления этого разрыва мы предлагаем CogSENet — динамическую реконструкционную архитектуру с согласованием семантики, вдохновлённую зрительной системой орла. Имитируя активное саккадическое сканирование орла, мы разрабатываем Модуль пространства состояний на основе семантики (SDSSM) с семантически-ориентированной перегруппировкой токенов посредством дифференцируемой маршрутизации, что позволяет моделировать долгосрочные зависимости с учётом контекстных условий. Для обеспечения физически интерпретируемого восстановления текстур и структур Блок бичастотного слияния (BiFreqFusionBlock, BFFB) отражает функциональную дифференциацию сетчатки орла, разлагая признаки на высокие и низкие частоты с помощью вейвлет-преобразований. Наконец, мы оцениваем непрерывное Поле размытия (Blur Field, CBF) по размытому изображению и объединяем его с семантическими априорными данными CLIP для модуляции наиболее глубоких латентных признаков, эмулируя фокальную адаптацию и обеспечивая адаптивное восстановление при пространственно-неоднородном размытии. Обширные эксперименты показывают, что CogSENet превосходит современные методы восстановления резкости как по визуальному качеству, так и по структурной точности при меньшем количестве параметров, а также демонстрирует высокую эффективность в задачах устранения дымки, удаления дождя и подавления шума.
В совместном диалоге общее восприятие не гарантирует общую интерпретацию. Взаимопонимание должно устанавливаться через взаимодействие. Мы исследуем, могут ли визуально-языковые модели (VLM) различать то, что может быть общим, и то, что стало общим между участниками диалога посредством укоренения. Мы формулируем это как задачу сопоставления интерпретаций на 13 077 аннотированных референциальных выражениях из диалогов HCRC MapTask и оцениваем VLM при систематически контролируемых манипуляциях контекстом диалога и доступом к картографической информации. Наши результаты показывают, что предоставление аутентичных изображений карт улучшает общую производительность, но смещает модели в сторону чрезмерного предсказания согласованности. Текстовые описания того же содержимого карты воспроизводят это смещение, в то время как неинформативные изображения полностью подавляют предсказания согласованности, что указывает на то, что смещение обусловлено релевантным задаче содержимым карты, а не визуальным каналом. Это улучшение достигается за счет снижения точности на несогласованных случаях. Калибровочный анализ и отслеживание цепочек референций дополнительно показывают, что модели опираются на статические референциальные подсказки на картах, а не на отслеживание того, как укоренение разворачивается через историю диалога. Мы наблюдаем эти паттерны наиболее четко в Qwen3-VL-8B-Instruct и, в разной степени, в четырех дополнительных моделях из двух семейств архитектур. В моделях, демонстрирующих это смещение, содержимое карты, представленное визуально или текстуально, рассматривается как свидетельство взаимопонимания, смешивая потенциальное с установленным общим основанием.
Люди склонны к излишним размышлениям; языковые модели — к избыточному сэмплированию, и лишние усилия могут привести обе стороны к худшему результату. Системы рассуждений решают сложный вопрос, многократно его сэмплируя (масштабирование на этапе тестирования), и чем больше сэмплов, тем чаще где-то появляется правильный ответ, поэтому покрытие — доля задач с хотя бы одной верной попыткой — растёт и кажется прогрессом. Однако развёрнутая система должна выдать один ответ, и его выбор, когда неизвестно, какая попытка верна, — это отбор; отбор имеет предел, и после определённой точки лишние сэмплы лишь укрепляют уверенность модели в ошибочном ответе, при этом каждая попытка увеличивает затраты. Разрыв между растущим покрытием и застопорившимся отбором — разрыв идентифицируемости — это ответ, который модель может породить, но не в силах выбрать. Поэтому настоящий вопрос не в том, стоит ли сэмплировать, а в том, как далеко заходить, и ответ таков: недалеко. Для выбора ответа голосование устоялось уже через несколько десятков сэмплов — это модальный потолок; для оценки бенчмарка ещё раньше — корреляционный потолок. Дальнейшие сэмплы требуют затрат, ничего не добавляют и даже способны ухудшить ответ. В данной статье порог превращается в единственное число — эффективное количество сэмплов, которое любой сэмплинг уже выявляет. Узким местом является распознавание правильного ответа, а не его генерация.