翻訳付きの日次キュレーションされたAI研究論文
多くの日常的なプログラミングタスク、例えば重要なログ行への警告、不正な形式のJSONの修復、意図による検索結果のランキングなどは、クリーンなルールベースの実装に抵抗があり、局所性、再現性、コストを犠牲にして大規模言語モデルAPIに外部委託されることが増えている。我々はファジー関数プログラミングを提案する。これは、自然言語の仕様からそのような関数をコンパクトでローカル実行可能なニューラル成果物にコンパイルするものである。我々はこのパラダイムをProgram-as-Weights (PAW)として具体化する。これは、FuzzyBench（我々が公開する1000万サンプルのデータセット）で訓練された4Bのコンパイラが、凍結された軽量インタプリタ用のパラメータ効率的なアダプタを生成するものである。PAWプログラムを実行する0.6BのQwen3インタプリタは、Qwen3-32Bの直接プロンプトの性能に匹敵しつつ、約50分の1の推論メモリを使用し、MacBook M3上で30トークン/秒で動作する。PAWは、基盤モデルを入力ごとの問題解決器からツール構築器へと再定義する。関数定義ごとに一度呼び出され、再利用可能な小さな成果物を生成し、その後の関数適用ごとの呼び出しは安価でオフラインで行われる。
長期ホライズンLLMエージェントにおけるメモリとは、各将来の決定が何を見ることを許されるかに関する契約である。最も単純な契約は、過去の観測、ツール呼び出し、リフレクションをすべてのプロンプトに追加するものである。これにより過去のコンテキストへのアクセスは容易になるが、同時にそれらが混在した塊となり、個々のメモリコンポーネントの効果を分離することが難しくなる。本稿では、代替となるバウンドされた契約を導入し、それを具現化する。すなわち、すべての決定は、型付き検索によって組み立てられた新しいユーザメッセージから行われ、生のクロスデシジョン転写は追加されない。これにより、プロンプトは任意の長さの実行にわたってバウンドされ続け、任意の単一層を単独でアブレーションすることができる。この契約を、閉じたルールを持つ確率的デッキ構築ゲーム『Slay the Spire 2』に実装する。このゲームの実行には、何百もの戦術的・戦略的決定が必要となる。同ゲームにおけるフロンティアLLMの公開オンラインベンチマークでは、5つの設定において最低難易度での勝利数が0であり、開発者が報告する同難易度での人間の勝率は16%である。このタスクは困難だが、飽和状態ではない。我々のハーネス内では、固定A0アブレーションにより、戦略スキルが有効化された場合に観測される最大の差が示された。すなわち、no-storeベースラインでは3/10ゲームで勝利し、スキル層を追加すると6/10となる。このサンプルサイズでは、比較は統計的に決定的というより方向性を示すものであり（フィッシャーの正確確率検定p≈0.37）、クロスバックボーンプローブと公開されているaccumulating-contextベースラインは、契約変数自体の制御されたテストではなく、運用上の比較として報告される。我々は再現可能なテストベッドを公開する。すなわち、条件タグ付きの298の完了した軌跡、凍結されたメモリ/スキルスナップショット、プロンプトレコード、解析スクリプトである。これは、明示的なメモリ層が長期ホライズンLLMエージェントの決定をどのように形成するかを研究するための、エージェント設計と検証済みで再利用可能な方法論である。
自律型エージェントは、フィードバックを通じて実行可能なポリシーを改善することがますます期待されている。しかし、既存の評価手法では、このプロセスを単一の最終スコアに集約したり、オープンエンドなソフトウェアエンジニアリングの進捗と混同してしまうことが多い。本研究では、統制された評価環境として自律型政策進化を導入する。これは、ハーネスモデルエージェントが固定された相互作用予算の下で、実行可能なポリシーシステムを反復的に編集する設定である。この設定を具現化したベンチマークとしてEvoPolicyGymを構築した。これは、コンパクトな対話型強化学習環境から構成され、エージェントが探索したポリシーを反復的に改善する方法を評価するものである。EvoPolicyGymスイートにおいて、GPT-5.5は総合ランクスコアで最強を示し、全16環境でトップ2の性能を達成した。リーダーボードの結果に加えて、EvoPolicyGymは軌跡レベルの診断情報も提供し、エージェントが予算をどのように配分し、フィードバックをパラメトリックチューニングに変換するかを識別する。これらの分析は、強力な自律型政策進化が単発的なタスクの勝利に依存するだけでなく、タスクに適したメカニズムを発見し、限られたフィードバックの下でポリシーを洗練することに依存することを示している。
ハイブリッド・アテンション・モデルは、フルアテンション層の一部のみを保持し、残りの層を線形アテンションに置き換えることで、長文脈効率を向上させる。しかし、Transformerからハイブリッドへの変換の効果は、どの層にフルアテンションを維持するかに決定的に依存する。既存のハイブリッド層選択手法は、典型的には固定配置パターンや層単位のスコアリングといったヒューリスティックな戦略に依存しており、層の重要度を暗黙的に独立したものとして扱い、グローバルなハイブリッド構成下での層間の相互依存効果を見過ごしている。本研究では、ハイブリッド層選択を予算制約付き部分集合最適化問題として定式化する。さらに、Transformerからハイブリッドへの変換のための、効果的かつ効率的でスケーラブルな層選択手法であるFlashMorph（Fast LAyer Selection for Hybrid MORPHing）を提案する。FlashMorphはまず、各フルアテンション層に変換された線形アテンション分岐を装備することで、モーフィング可能なモデルを構築する。次に、すべてのモデル重みを凍結し、合成された長文脈検索データ上で層単位のゲートを共同最適化し、モデルが効率性のために線形アテンションに依存するよう促す線形化正則化を施す。学習されたゲートは、事前設定されたフルアテンション予算の下で離散化され、ハイブリッド・アーキテクチャを具現化した後、標準的なロジット蒸留と長文脈ファインチューニングが行われる。広範な実験により、FlashMorphは既存の層選択手法と比較して、より効果的なハイブリッド構成を発見し、強力な長文脈検索性能と一般的なベンチマーク性能を維持しつつ、層選択コストを大幅に削減することが示され、その有効性、効率性、スケーラビリティが実証された。
ハードウェア非依存のテキスト画像拡散高速化戦略（タイムステップ蒸留や特徴キャッシュなど）は、カスタムカーネルやシステムレベルの最適化を必要とせずに推論時間を短縮できる。その中でも、マルチ解像度生成戦略は近年広く注目を集めており、学習を一切行わずに5倍以上の高速化を達成している。しかし、潜在空間でのアップサンプリングの設計や、部分領域の選択的修正により、これらの手法では顕著なぼけやアーティファクトが生じる。そこで本稿では、段階的な低解像度から高解像度へのパイプラインに基づく、事前学習済みフローマッチングモデルのための学習不要なマルチ解像度高速化戦略であるMrFlowを提案する。MrFlowは、まず低解像度で大まかな構造を高速に生成し、次に軽量な事前学習済みGANベースのモデルを用いてピクセル空間で超解像を実行し、その後低強度のノイズを注入して高周波成分の再サンプリングを可能にし、最後に高解像度で詳細を精緻化する。FLUX.1-devおよびQwen-Imageを用いた定量的・定性的評価により、MrFlowは低解像度サンプリングによる二次的なトークン削減とステップ数の削減を活用し、OneIGを加速前の1%以内のギャップに保ちながらエンドツーエンドで10倍の高速化を達成し、他の学習不要な高速化戦略を大幅に上回ることが示された。さらに、MrFlowは事前学習済みのタイムステップ蒸留戦略と直交的に直接組み合わせることが可能であり、最大25倍ものさらなる生成高速化を実現する。
データサイエンスは、多種多様な生データから実用的な洞察を導き出し、現代社会で生成される膨大なデータの価値を引き出すことを目的としています。このプロセスを自動化することは、データサイエンティストの労力を削減し、スケーラブルなデータ駆動型アプリケーションを実現するために不可欠です。近年、大規模言語モデル（LLM）ベースのデータエージェントが、データサイエンスワークフローを自動化する有望なソリューションとして注目されています。しかし、この分野では、多様なシナリオにわたって細かい粒度でこれらのエージェントを厳密に評価するための包括的なベンチマークが不足しています。このギャップを埋めるために、我々はAgenticDataBenchを提案します。これは、多様なドメインにわたる現実的なタスクと細かい正解ラベルを備えた包括的なベンチマークです。これにより、データサイエンスワークフローの多様性と複雑さ、およびエージェントの詳細な性能を捉える評価が可能になります。まず、多様なドメインをカバーするために、15の垂直ドメインから実際のデータセットとタスクを収集します。その中には、大手フィンテック企業からの5つの実際のB2Bユースケースが含まれます。第二に、実際のタスクの冗長性を除去し、実際のデータが不足しているドメイン向けに高品質なタスクを生成するために、データサイエンススキル（繰り返し発生するデータ中心の運用パターン）を導入し、含まれるスキル数によってベンチマークのカバレッジを定量化します。代表的なスキルは、スキル指向の階層的クラスタリングを用いて、Stack Overflow上の大規模なタスクソリューションから抽出されます。第三に、実際のビジネスタスクについては、スキル構成の多様性を最大化するタスクとソリューションのペアを選択し、実践的なシナリオの幅広いカバレッジを確保します。第四に、実際のタスクがない多様なドメイン向けに現実的なタスクを生成するために、これらのスキルに基づいてワークフローとタスクを作成する体系的なLLMベースのタスク生成手法を提案します。最後に、注釈付きベンチマークとオープンソースのテストベッドを用いて最先端のデータエージェントを評価し、詳細なスキルレベルの洞察を提供します。
本稿では、高い制御性を備えた動画世界モデルフレームワーク「WorldDirector」を提案する。本フレームワークは、持続的な動的オブジェクトメモリと制約のない視点探索を実現する。物理ダイナミクスとピクセルレンダリングを混同し、動作を維持するために連続的な視覚観測に依存する既存の世界モデルとは異なり、本フレームワークは意味的動作のオーケストレーションと視覚生成を明示的に分離する。LLMを活用して3D軌跡とカメラ動作を協調させ、そのオーケストレーションされた軌跡を動画生成の制御信号として用いることで、厳密な物理論理と外観の安定性を保証し、長時間視野外に出た後に再びシーンに現れる動的エンティティの正確な視覚的同一性を保持することに成功している。実験結果は、本手法が前例のない制御性と持続的な動的オブジェクトメモリを備えた、複雑かつ長期にわたるイベントの合成をサポートすることを示している。プロジェクトページ: https://worlddirector.github.io/
近年、マルチモーダル大規模言語モデルは臨床画像推論において大きな可能性を示しているが、既存の事後学習パイプラインは依然として主に結果中心であり、最終回答の正しさや系列レベルの選好に依存している。これは疎な信用割り当てに悩まされ、臨床応用に不可欠な推論プロセスの最適化を困難にしている。我々の分析により、初期段階の推論失敗に起因する連鎖的エラーが、医療用視覚質問応答（VQA）ベンチマークにおける誤った予測の主な原因であることが明らかになった。この動機に基づき、我々はステップ単位のプロセス報酬を組み込んだ強化学習アルゴリズムであるMedical Reasoning-aware Policy Optimization（MRPO）を提案する。最終回答が不正解の場合、MRPOは初期の無効な推論ステップにおけるトークンに対して指数関数的に大きなペナルティを割り当て、成功した経路を損なうことなく失敗の連鎖を断ち切る。3つのマルチモーダルLLMバックボーンにおいて、MRPOは標準的なGRPOおよび最近の強化学習ベースラインを一貫して上回り、Qwen3-VL-8B-Instructでは、HuatuoGPT-Vision-34Bなど大幅に大規模な医療用MLLMを2.79ポイント上回る性能を示した。さらに、MRPOは初期段階の推論失敗を64.0%から13.0%に低減し、連鎖的失敗に対する標的を絞った緩和が推論の質と最終回答精度の両方を向上させることを示している。我々のコードは https://github.com/dmis-lab/MRPO で公開されている。
スキルは、LLMエージェントの再利用可能な運用層として標準業務手順（SOP）、ドメインルール、ツールワークフロー、スクリプト、検証ルーチンを符号化するものになりつつある。現実的なスキルレポジトリにおいて、重複するスキルが存在するため、信頼性の高いスキル利用は困難となる。最終検証器による成功判定は、評価と訓練の両方において粗すぎる。なぜなら、エージェントが試行錯誤を経てディストラクター（注意散漫要因）スキルを選択し、必要なステップを省略し、ワークフローを誤って構成したり、最終確認を怠ったりする可能性があるからである。本研究では、エージェントのスキル利用を評価・向上させるための自己進化型ルーブリックフレームワークであるSkillCoachを提案する。SkillCoachは、実際のロールアウトからスキルに基づくプロセスルーブリックを導出し、軌跡をスキル選択、スキル追従、スキル構成、スキルに基づく振り返りの4次元に沿って評価する。外部検証器は独立した成果信号として維持し、プロセス品質を偶発的なタスク成功と区別可能にする。進化したルーブリックはさらに、高品質な訓練軌跡を選択するためのプロセス監視として機能する。実験により、進化したルーブリックは評価品質を大幅に向上させ、最終的正解率では隠された失敗を顕在化し、アウトカムのみのフィルタリングよりも強力な監視信号を提供してエージェントのスキル利用を向上させることが示された。
従来の視覚生成における強化学習手法は、通常サンプル単位の報酬関数を採用するが、この手法はしばしば報酬ハッキングを引き起こし、画像の多様性を低下させ、視覚的な異常をもたらす。これらの限界に対処するため、本稿では分布に基づく報酬を用いて生成モデルを微調整する新しいフレームワークを提案する。これにより、実世界のデータ分布とのより良い整合性が確保される。サンプルを個別に評価する報酬とは異なり、分布に基づく報酬はサンプルのデータ分布を考慮し、すべてのサンプルが独立に同じ方向へ最適化されることで生じるモード崩壊の問題を軽減する。これらの報酬の推定に伴う莫大な計算コストを克服するため、生成された参照セットの小さなサブセットのみを更新することで効率的に報酬信号を提供するサブセット置換戦略を導入する。さらに、事後的なモデルマージング係数を最適化するために強化学習を適用し、通常の強化学習手法における確率微分方程式（SDE）の導入に起因する訓練と推論の間の不整合を緩和する可能性を示す。広範な実験により、本手法はさまざまなベースモデルにおいてFID-50Kを顕著に改善し、SiTでは8.30から5.77へ、EDM2では3.74から3.52へと向上する。定性的評価でも、本手法がサンプルの多様性を維持しつつ知覚品質を向上させることを確認した。
長文コンテキスト利用において、大規模言語モデルは関連するコンテキストスパンの意味から回答を合成することが多く、文字通りのコピー・アンド・ペーストは行わない。どのアテンションヘッドがこの合成を行っているかを特定することは、長文コンテキストにおけるモデル動作の解釈にとって重要である。しかし、既存の検出器はその構造上これらのヘッドを見逃している。なぜなら、これらは注目されたトークンが生成トークンと一致するヘッドに報酬を与える、文字コピー基準に依存しており、これはヘッドがどこから読み取るかは捉えられるが、その出力値（OV）回路を通じて何を書き出すか、すなわち非文字通りの検索を担うまさにそのメカニズムは捉えられないからである。本論文では、書き出しを認識する検出器であるロジット寄与スコアリング（LOCOS）を導入する。LOCOSは、各ヘッドのOV回路出力を回答トークンのアンエンベッディング方向に射影した値でスコア付けし、単一の順伝搬においてニードルとオフニードルのソース位置を対比する。3つのモデルファミリー（Qwen3、Gemma-3、OLMo-3.1）において、非文字通りの検索ベンチマークNoLiMa上で上位LOCOSヘッドを平均アブレーションすると、従来のアテンションに基づく検出法よりも少ないヘッド数でROUGE-Lが低下する。Qwen3-8Bでは、50ヘッドのアブレーションでROUGE-Lが0.401から0.000に低下する一方、最も強力なベースラインは依然として0.292を保持する。選択されたヘッドは検索特異的であり、同じアブレーション条件下でパラメトリック想起や算術推論はベースラインに留まる。Qwen3-8Bでは、同じアブレーションによりMuSiQueが0.55から0.08、BABI-Longが0.62から0.20に低下する一方、ランダムヘッドによる対照実験ではベースラインからの変動は0.05以内に留まる。
表現アライメントは、拡散トランスフォーマーの学習を加速し、生成品質を向上させる効果的な手法となっている。近年のSRAやSelf-Flowなどの自己アライメント手法は、拡散モデル内部でアライメントを構築することで、外部の事前学習済みエンコーダへの依存をさらに排除している。しかし、SRAからSelf-Flowへの改善の背後にあるメカニズム、すなわち二重時間スケジューリング（dual-time scheduling）については、その詳細な検討が十分に行われていない。Self-Flowはその利得を、異なるノイズレベルにおけるトークン間の相互作用に帰しており、よりクリーンなトークンがノイズの多いトークンの推定を助けるとしている。本研究では、この説明を再検討し、その利得が代わりにノイズ次元に沿ったデータ拡張に由来するのではないかという問いを立てる。これらの要因を切り離すために、我々は注意分離（Attention Separation）を導入する。これはSelf-Flowと同じ二重タイムステップ入力を保持しつつ、異なるノイズレベルに割り当てられたトークン間の注意を遮断するものである。驚くべきことに、この相互作用を除去しても性能は低下せず、むしろ向上する場合があり、SRAからSelf-Flowへの改善が主にデータ拡張に起因することを示唆している。さらに、注意分離自体が、単一画像を複数の効果的な学習部分に分割して学習データを拡張するという拡張効果をもたらすことを示す。これらの観察に基づき、自己表現アライメントを二重タイムステップおよび注意分離拡張と組み合わせ、ImageNet上でその設計の有効性を実証する。
静脈認証は安全な生体認証技術であるが、限られた注釈データや画像の変動によって制約されることが多い。データ拡張はこの問題を緩和するが、自然画像向けに設計された戦略は、個人識別に不可欠な微細なトポロジーやテクスチャを損なう可能性がある。本稿ではAGVBenchを提案する。これは、5つの公開掌静脈・指静脈データセットにおいて、7つのバックボーンアーキテクチャ（古典的なCNN、Vision Transformer、静脈特化型認識モデルを含む）を用いて、30の代表的な拡張戦略を評価するものである。結果として、マルチイメージ混合法（例：MixUp、PuzzleMix、StarMixup）が概して最も高い認識性能を提供することが示された。しかし、これらの手法はしばしばキャリブレーションが不十分であり、敵対的摂動に対して脆弱であるため、クリーンな精度と敵対的セキュリティの間に明確な矛盾があることが明らかになった。また、過度な幾何学的変換が認識性能を低下させること（これは特徴の位置ずれや空間的クロッピングに起因する可能性がある）、そして拡張の効果が掌静脈と指静脈のデータセットで異なることも発見した。これらの発見は、生体認証の拡張において精度中心の評価が不十分であることを示している。AGVBenchは、再現可能な研究を支援し、信頼性が高く安全でロバストな静脈認識システムの設計を導くための標準化されたプロトコルを提供する。コードベースはhttps://github.com/Advance-VeinTech-Innovators/AGVBenchで公開している。
ControlNetなどの制御可能な画像生成手法は、深度マップなどの視覚的条件を導入して画像生成を誘導する顕著な能力を示してきた。しかし、これらの手法は複雑なマルチインスタンスシーンにおいてしばしば困難に直面し、インスタンス間の属性の混同を引き起こす。近年のアプローチでは、手動によるインスタンスラベリングによってこれを緩和しようと試みているが、そのような要件は労力を要する。本論文では、インスタンスラベリングを不要とする新たなマルチインスタンス制御可能生成手法であるInstanceControlを提案する。既存手法における主要なボトルネックは、テキストプロンプト内のインスタンス記述を、視覚的条件内の対応する領域に正確に関連付けることができない点にあると特定した。この課題に対処するため、視覚言語モデル（VLM）を活用し、テキストプロンプトと視覚的条件の間でインスタンスレベルの対応関係を確立する。具体的には、VLMがテキストプロンプトからインスタンス記述を自動的に解析し、同時に視覚的条件に基づいてインスタンスマスクを予測する。さらに、予測されたマスクにはノイズが含まれる可能性があるため、生成過程においてこれらのインスタンスマスクを動的に精緻化する適応的マスク洗練戦略を導入する。広範な実験により、本手法が最先端の手法を凌駕し、優れた忠実度と正確なインスタンスレベルの制御を達成することを実証する。
大規模言語モデル（LLM）を搭載した検索エージェントは、ユーザの目標を達成するために複数ステップの検索と推論を必要とする複雑な情報探索タスクの解決にますます利用されている。しかし、既存のベンチマークは多くの場合、ユーザのクエリが完全かつ明示的であると仮定しており、現実世界の検索要求が頻繁に曖昧で、十分に指定されておらず、さらには事実誤認を含むことがあるという事実を見落としている。深層検索シナリオでは、このような曖昧性が多段階の推論連鎖に沿って伝播し、エージェントを誤った検索軌道へ導く可能性がある。このギャップに対処するため、我々はDiscoBenchを導入する。これは明確化を考慮した深層検索のためのベンチマークであり、検索エージェントが積極的に曖昧性を特定し、効果的な明確化質問を行い、ユーザとの対話を通じて正しい推論経路を回復できるかどうかを評価するように設計されている。DiscoBenchは、11の実世界ドメインにわたる211サンプルと463の曖昧性インスタンスを含み、4種類の曖昧性をカバーしている。さらに、マルチターン対話のためのユーザシミュレータを設計し、タスク有用性、曖昧性検出、対話戦略、コスト効率の4つの観点からモデルの性能を評価する。代表的なLLMを用いた実験は、曖昧性検出と効果的な明確化が異なる能力であり、明確化を求めずに繰り返し検索することは、しばしば直接的な推測よりも性能が劣ることを示しており、現在の検索エージェントにおける検索能力と対話的問題解決能力との間の重要なギャップを浮き彫りにしている。
視覚言語モデル（VLM）は、時空間ビデオグラウンディング（STVG）において極めて大きな可能性を示してきた。しかし、現在の評価プロトコルは、主に一般的な日常ベンチマークにおけるゼロショット評価に限定されている。これにより、モデルが必然的に稀な視覚概念や複雑な時空間ダイナミクスに直面する専門分野における実世界応用との間に重大な乖離が生じている。無限のデータ分布にわたる網羅的な事前学習は非現実的であるため、新たな領域に適応する能力が不可欠である。このギャップを埋めるため、我々はAnyGroundBenchを導入する。これは、STVGの評価パラダイムを静的なゼロショットテストから厳密なドメイン適応へと転換するために設計されたドメイン適応ベンチマークである。動物、産業、スポーツ、手術、公共安全という五つの専門領域を対象として、AnyGroundBenchは、専門家がアノテーションしたマウスの行動など新たに収録されたビデオと既存のデータセットを対にし、高密度で忠実度の高い時空間アノテーションを通じてそれらを統合する。重要なことに、本ベンチマークはドメイン適応性を体系的に測定するための専用の訓練サブセットを提供する。我々は15の最先端VLMを広範囲に評価し、実用的な計算制約下でのゼロショット汎化能力と文脈内学習（ICL）能力を検証する。最終的に、我々の知見は、現在のモデルが専門領域に直面した場合にゼロショット適応およびICLベースの適応の両方において失敗し、将来の研究が対処すべき時空間推論における重大な欠陥を露呈することを明らかにしている。
記憶の専門性は学習可能なスキルである。すなわち、何を符号化すべきか、いつ検索すべきか、知識をどのように整理すべきかを知る能力であり、認知科学ではメタ記憶と呼ばれる。我々はこの視点を大規模言語モデル（LLM）に応用し、メモリ管理を訓練可能なスキルとして扱う。ファイルシステム操作をタスクアクションと並ぶ第一級のメモリアクションへと昇格させ、モデル自身がメモリ管理方法を決定できるようにする。このメモリスキルは、それを支える構造（プロンプト、ファイルスキーマ、アクション語彙）と、それを実行するモデルの熟達度という二軸に沿って向上する。両軸とも手動最適化には抵抗がある。長期タスクのエピソードは数千ステップに及び、単一のメモリミスが発覚するまで長期間隠れ得るため、人間による全軌跡のレビューは非現実的だからである。本稿では、この両軸を自動化するフレームワークAutoMemを紹介する。第一のループでは、強力なLLMがエージェントの全軌跡をレビューし、エージェントがメモリファイルとやり取りする方法を形成するメモリ構造を反復的に改訂する。第二のループでは、多数のエピソードからエージェント自身の優れたメモリ決定を特定し、それを訓練信号として用いてモデルのメモリ熟達度を直接的に強化する。手続き生成された三つの長期ゲーム（Crafter、MiniHack、NetHack）において、メモリのみを最適化し（モデルのタスク行動は変更せずに）、ベースエージェントのパフォーマンスを約2～4倍向上させた。これにより、320億パラメータのオープンウェイトモデルが、Claude Opus 4.5やGemini 3.1 Pro Thinkingといった最先端システムと競合できるようになった。我々の結果は、メモリ管理が独立して学習可能なスキルであり、長期タスクにおいて大きな改善をもたらす高いレバレッジを有する目的であることを示している。
SWE-BenchやGAIAのようなベンチマークでLLMエージェントを評価することは、コストが高く、時間がかかり、複雑なインフラストラクチャを必要とする。1回の評価に数千ドルもの費用がかかり、完了までに数日を要することもある。対照的に、個別の能力（例：推論、コード生成）をテストする非エージェント型LLMベンチマークは、迅速かつ低コストで実行できる。本論文では、高コストなエージェント型ベンチマークにおける性能が、注意深く選択された少数のアトミック評価インスタンスの性能から精度よく予測可能かどうかを調査する。我々はPACEを提案する。これは、既存の非エージェント型評価の中から、その総合スコアがエージェント型ベンチマークにおけるモデル性能を最も確実に予測するインスタンスを選択することで、プロキシベンチマークを構築するフレームワークである。アトミックな能力にわたる候補インスタンスのプールを基に、PACEは回帰モデルを適合させ、コンパクトなソースインスタンスのサブセットにおけるモデルのスコアを、対象のエージェント型ベンチマークのスコアにマッピングする。このサブセット自体は、ターゲット関連性に基づく局所選択と、全体的に情報価値の高い大域選択という、相補的な2つのインスタンス選択戦略を組み合わせてキュレーションされる。我々はPACEを本論文の4つの対象エージェント型ベンチマークに適用し、その結果としてPACE-Bench（本論文で評価する具体的なプロキシベンチマーク）を導出した。14モデル、4つのエージェント型ベンチマーク、19の非エージェント型ベンチマークにわたる実験では、PACE-Benchがエージェントスコアを、Leave-One-Out交差検証（LOOCV）における平均絶対誤差（MAE）4%未満、スピアマン相関係数0.80以上、ペアワイズモデルランキング精度約85%で予測し、そのコストは完全なエージェント評価の1%未満であることが示された。さらに、選択されたプロキシインスタンスを分析し、各エージェント型ベンチマークが独自に要求するスキルを明らかにする。PACEにより、実務者はモデル開発、選択、ルーティングの際に、完全なエージェント評価のオーバーヘッドなしで、エージェント性能の信頼性の高い推定値を得ることが可能となる。
本稿では、我々が「表現分布マッチング（RDM）」と名付けたパラダイムの設計空間を解明する。このパラダイムは、凍結済みの事前学習済みエンコーダ下で生成された特徴分布と参照特徴分布をマッチングすることにより、一段階画像生成器を訓練するものである。我々は二つの設計軸、すなわち分布の比較方法と比較に用いる表現を特定し、それらに沿った統制実験により三つの知見を得た。第一に、十年前には説得力のある生成器を訓練できなかった古典的なMMD（最大平均不一致）は、適切に推定されれば強力でスケーラブルな目的関数となる。第二に、生成バッチがその際の操作変数となり、慣例的なバッチサイズをはるかに超える2048以上の最適値が存在する。第三に、任意の単一の表現は操作可能であり、画像が明らかに偽物であるにもかかわらず実スコアを下回るように駆動され得る。そのため、我々はバランスの取れたエンコーダ群に対してマッチングを行い、訓練損失とは独立で操作に耐性のある、14個のエンコーダに対するスライス化ワッサースタイン距離SW_r14を用いて評価する。これらの好ましい選択を組み合わせることで、改良型RDM（iRDM）が得られる。これはImageNet上でSW_r14スコア1.30という一段階生成の最先端を達成し、我々の目的関数が決して最適化しない人間の嗜好代理指標であるPickScoreによっても裏付けられており、マッチングされたサンプルの71.2%で従来の最良の一段階生成器よりも好まれる。同じ手法を適用して、四段階のFLUX.2 [klein]を一段階生成器にポスト訓練したところ、GenEvalスコアで0.826対0.794、PickScoreで22.76対22.58と、四段階版を上回り、所要時間はH200 GPUで90時間であった。プロジェクトページ: https://alan-lanfeng.github.io/rdm/。
Vision-Language-Action（VLA）モデルは、専門家によるデモンストレーション、すなわち観察、指示、行動の三つ組データの不足によって根本的に制約を受けている。これらのデータは大規模に収集するにはコストがかかる。本稿では、この制約が物理的スキル（どのように動くか）の獲得と意味的アライメント（何をすべきか）の獲得という、二つの異なる学習目標を混同していることに起因すると主張する。重要なことに、後者のみが言語による教師信号を必要とする。この「分解仮説」に基づき、我々は「タスク非依存事前学習（TAP）」を提案する。これは二段階のフレームワークであり、第一段階では、自己教師ありの逆動力学目的関数を用いて、破棄されたオフタスク軌道や自律型ロボットのプレイなど、安価でラベルなしの相互作用データから転移可能な運動事前知識を学習する。第二段階では、軽量な学習により、最小限の専門家データを用いてこれらの事前知識を言語に接地させる。SIMPLERベンチマークにおいて、TAPは100万件以上の専門家軌道で学習したモデルと同等の性能を達成しつつ、ラベル付きデータを桁違いに少なく使用し、標準的な行動クローニングに対して絶対値で10%の向上を示した。実世界のWidowXプラットフォームでは、カメラの摂動下でTAPは25%の成功率を維持したのに対し、大規模インターネットベースのベースラインモデルは0%に低下した。これは、タスク非依存の事前学習が頑健で転移可能な物理的表現を生成し、身体化AIにとってスケーラブルな道筋を提供することを実証している。
継続的なポストトレーニングにより、ファンデーションモデルは既存の能力を維持しながら新しい知識を獲得できる。近年の研究では、オン方策学習が忘却を軽減できる可能性が示唆されており、特にオン方策自己蒸留が魅力的なアプローチとして浮上している。本研究では、自己蒸留方策最適化（SDPO）を通じてこの楽観的な見解を再検討する。実験の結果、SDPOは教師信号が安定し適切に調整されている場合にはドメイン内の特化を加速できるが、分布外のシナリオへの一般化には困難を伴うことが示された。継続的なポストトレーニングにおいて、SDPOはより強い忘却を示し、場合によっては崩壊することもある。一方、GRPOのようなオン方策強化学習手法はより保守的に適応し、以前の能力をより良く保持する。さらなる分析により、密度の高い自己蒸留はパラメータ空間と応答空間の両方でより大きなドリフトを引き起こし、自己強化型の教師-学生ループを通じて高頻度のフォーマットアーティファクトを増幅させる可能性があることが明らかになった。これらの発見は、オン方策データだけでは継続学習に不十分であることを示唆している。密度の高い自己蒸留は、教師のターゲットが安定し、トークンレベルの監視が信頼できる場合に特化を加速できるが、継続的なポストトレーニングのデフォルトの安定化手段として扱うべきではない。我々のコードは https://github.com/Moenupa/SDPO-CL で公開されている。
拡散言語モデルは、トークンを左から右へ生成する代わりに、トークンキャンバスを双方向にノイズ除去することでテキストを生成し、自己回帰（AR）生成と競合するようになった。しかし、医療用基盤モデルはほぼすべてが自己回帰型のままである。我々は、混合エキスパート拡散言語モデルであるDiffusionGemma-26Bを適用し、同一のLoRA設定のもと、医療用視覚質問応答データセットにおいて、同サイズのARモデルであるGemma-4-26Bと比較評価を行った。評価は冗長性に頑健なLLM判定器を用いてスコア化した。拡散モデルはすべてのデータセットでARと同等かそれ以上の性能を示し、微調整モデル（有効パラメータ3.8B）は最先端の視覚言語モデルと競合した。また、その復号化速度は3.5～4.4倍高速であった。この性能の同等性に加え、拡散モデルはARにはないドラフト作成能力、すなわち任意順序でのインフィルを提供する。キャンバスが双方向にノイズ除去されるため、放射線科医はレポートの断片を修正し、その間のテキストをモデルに埋めさせることができる。この操作は拡散に固有であり、自己回帰では本質的に不得意である。これは、臨床医や施設間でしばしば簡潔であったり一貫性に欠ける実際のレポートに適している。
基盤モデルは日常的に公開されているが、その訓練に用いられるデータレシピ、すなわち異なるデータソースのサンプリング比率を決定するドメイン混合比率が開示されることはほとんどない。このことは非対称な情報アクセスを生み出している。すなわち、研究者は結果として得られたモデルを研究する一方で、そのモデルを生み出した訓練分布の内訳を把握することができないのである。訓練データを推定する従来の研究（メンバーシップ推論など）は、個々のサンプルレベルでの検出に留まり、訓練コーパスの全体的な構成を特徴付けることは不可能であった。本稿では、公開された重みからファインチューニングされたモデルの訓練混合比率を直接復元するフレームワークWARPを提案する。WARPはモデルマージを用いてベースモデルとファインチューニング済みモデルを補間し、欠落した訓練軌跡を近似し、重み空間における訓練データの幾何学的なフットプリントを露呈する擬似チェックポイントを生成する。これらのシミュレートされたフットプリントから、WARPは幾何学的特徴を抽出し、パラメータフリーのソフトマックス読み出し、または合成混合比率で学習されたMLPプロジェクタを用いて、それらの特徴をドメイン比率にマッピングする。BERTおよびGPT-2を用いた制御実験において、WARPはドメイン混合比率を平均MAEでそれぞれ0.046および0.104という低い値で復元し、メンバーシップ推論や真の訓練軌跡にアクセスできる変種を上回る性能を示した。
大規模言語モデル（LLM）に基づくエージェントは、複数ターンにわたる環境との相互作用を通じて複雑な手続き的タスクを解決できるが、この能力は通常、大規模モデル、長いコンテキスト、および繰り返しの推論呼び出しに依存する。そのため、高度なメモリ拡張エージェントをリソース制約のあるデバイスに展開することは困難である。本稿では、二重空間蒸留フレームワークDuoMemを導入し、大規模教師モデルからコンパクトな生徒モデルへ手続き的問題解決能力を転移する。DuoMemは、以下の2つの相補的な空間で蒸留を行う：(1)コンテキスト空間蒸留。これは、生徒が生成したメモリを、教師が生成した高品質な手続き的メモリで置き換え、それを生徒の入力に前置するものである。(2)パラメータ空間蒸留。これは、教師の成功軌跡に基づいて軽量なLoRAアダプターを微調整するものである。身体化意思決定ベンチマークであるALFWorldにおいて評価した結果、DuoMemは40億パラメータのモデルのタスク成功率を4.3%から77.9%に向上させ、720億パラメータの教師モデル（87.1%）との差をほぼ埋めた。その際、追加する学習可能パラメータは1000万未満、事前計算された教師メモリはわずか数メガバイトである。さらに、DuoMemで強化された40億モデルは、実時間で720億の教師モデルよりも3倍以上速くタスクを完了し、リアルタイムエッジ展開が困難な教師モデルに対し、実用的な選択肢となる。20億から720億パラメータにわたる8つのモデルを用いた広範なアブレーション実験により、両方の蒸留軸が相補的に寄与することが明らかになった。
検証可能な報酬を用いた強化学習（RLVR）は、単一ドメインの学習から、数学、プログラミング、科学にわたるマルチドメイン推論スイートへと拡張されてきた。しかし、学習カリキュラム（各ドメインがどの程度の頻度でサンプリングされるか）は、推論スキルがドメイン間で不均一に伝達されるにもかかわらず、通常は固定または手動で調整されている。既存の学習可能性に基づくカリキュラムは、ポリシーが現在改善しているドメインに適応するが、選択したドメインでの勾配更新が残りのドメインに利益をもたらすかどうかについては考慮していない。本論文では、Transfer-Aware Curriculum（TAC）を提案する。これはバンディット型のオンラインカリキュラムであり、その更新が訓練スイート全体に広く利益をもたらすドメインを優先する。TACは、RL訓練で既に生成される信号を再利用する。すなわち、ドメインごとのアドバンテージは局所的な学習可能性を捉え、GRPOステップで計算される投影勾配は、勾配幾何アライメントを介してドメイン間の転送可能性を推定し、計算コストは無視できる（壁時計時間の1%未満）。6ドメインの推論スイートにおいて、TACはQwen3-1.7BおよびLlama3.2-3Bの両方で最高のマクロ平均精度を達成し、比例ランダムサンプリング、手動設計のスケジュール、学習可能性のみのバンディットを上回り、後者と比較して最大2.8ポイント（10%相対）の改善を示した。アブレーション実験では、転送可能性項を除去すると性能が急激に低下し、学習可能性のみのカリキュラムが支配的なドメインに過度に集中する不均衡な訓練混合においても、TACはロバスト性を維持した。本研究は、マルチドメインRLVRにおけるカリキュラム設計において、ドメイン間転送可能性が重要な信号であることを確立するものである。
トラフィック行列（TM）はネットワーク全体の起点-終点需要を捉え、トラフィックエンジニアリングの中心的な役割を果たすが、オンラインネットワーク制御におけるメモリ、更新、およびトレーニング予算の制約下で予測を実行しなければならない場合、行列全体の正確な予測は依然として困難である。本稿では、専用のグラフ、トランスフォーマー、または拡散モジュールに依存することなく、コンパクトな量子インスパイア型リカレントモデルが効果的なTM予測を提供できるかを調査する。我々は、ゲート付き量子インスパイア型Kolmogorov-Arnoldネットワーク高速重みプログラマ（QKAN-FWP）を、Abilene TMの直接多段階予測に適応させる。各モデルは、2時間の履歴から144チャネルの起点-終点（OD）行列の次の20個の5分フレームを予測する。3つのQKAN配置バリアントを、同規模の長短期記憶（LSTM）ネットワーク、より大規模なLSTM、および共有固定予算トレーニングプロトコル下の古典的なゲート付き高速重みプログラマとベンチマークする。評価されたリカレントモデルの中で、G-QKANFWPは、より大規模なLSTMの22.4%のパラメータしか使用しないにもかかわらず、最良のプール二乗平均平方根誤差（RMSE）を達成する。また、同規模のLSTMおよび古典的なG-FWPベースラインを上回り、この利得がゲート付き高速重みフレームワークのみに起因するものではないことを示している。収束解析およびチャネル別解析はさらに、量子インスパイア型バリアントが同規模のリカレントベースラインよりも低い検証損失学習曲線下面積（AULC）を獲得し、G-QKANFWPとGQKAN-FWPが有意に多くのODチャネル勝利数を達成することを示している。これらの結果は、資源に制約のあるネットワークトラフィック行列予測において、古典的な低速プログラマと量子インスパイア型高速プログラマの組み合わせが、精度と効率の両面で有望な設計であることを示している。
近似的最近傍探索（ANN）に対する格子ベースのアプローチは、近年のスケーリング解析では見過ごされてきた。本論文では、データセットサイズNと次元数dに関して、マルチプローブ格子アルゴリズムの体系的な特性評価を行う。実験により、GloVe埋め込みファミリーにおいて、これまで報告されていなかったdスケーリングのクロスオーバーが明らかになった。このクロスオーバーでは、マルチプローブ格子探索がほぼ一定の次元スケーリング指数を維持する一方で、他のグラフベース、木ベース、分割ベースの手法はスループットが低下する。この利点は、Nに対するほぼ線形なクエリスケーリングに伴うが、競合するANN手法と比較してインデックス構築コストも低い。この結果は、マルチプローブ格子のような格子ベースの手法が、インデックス構築コストと次元に対するロバスト性が性能を左右する、再構築負荷が高い設定や高次元設定において競争力を持つ可能性を示唆している。さらに広範には、近年の研究で自己注意機構がANN操作として定式化されている。したがって、ANNアルゴリズムのNスケーリングとdスケーリングの特性は、効率的なトランスフォーマーアーキテクチャのコスト解析の指針となり得る。コードはhttps://github.com/weiz345/MultiProbeANNで公開されている。