翻訳付きの日次キュレーションされたAI研究論文
自律エージェントは、機械学習（ML）研究をエンドツーエンドで遂行し始めている。これらのエージェントは、モデルバックボーンと、計画・実行・メモリ・検証のためのハーネスを組み合わせるが、このアーキテクチャでは、ドメイン固有のノウハウは依然としてエージェントの外部に残される。我々は、この欠落した層を運用知識（operational knowledge）と呼ぶ。これは、手法を知っていることと、それを機能させることを隔てるノウハウである。この知識は、この分野に存在しないわけではない。それはリポジトリや論文に登場するが、人間の読者向けに書かれた形式であり、タスク中に読み込むには大きすぎる。一旦、コンパクトで検証済みのスキルへと蒸留されれば、この知識は毎回の実行中に再発見されるのではなく、タスク間で再利用できる。 我々は、スキルを作成し、研究の最中にそれを活用する、スキル駆動型研究エージェントであるDisCoを提案する。その蒸留は、タスク非依存とタスク指向という2つの相補的な形式で実行される。前者は、この分野で広く使われているリポジトリを再利用可能なスキルへと凝縮するものであり、オープンエコシステム全体に適用され、1,000の広く使用されているMLリポジトリから蒸留され、20の領域と178の能力ファミリーに編成された、5,000以上の検証済みスキルからなるAREXスキルライブラリを生み出す。GPT-5.5バックボーン、研究ハーネス、および下流の実行予算を固定した状態で、スキルを備えた研究エージェントは、スキルを持たない同一エージェントと比較して、MLE-benchで134.3%、PaperBenchで34.4%、FrontierCSで9.2%、PassNetで14.0%高いスコアを達成した。これらの向上は、その固定された設定の下で、蒸留された運用コンテキストを追加することから生じるものである。
エージェントが研究プロトタイプから実運用ツールへと移行するにつれて、その能力は、一般にエージェントハーネスと呼ばれるモデル外部の実行インフラストラクチャにますます依存するようになる。モデルの重みを固定したままこのハーネスを変更すると、タスクの性能が大幅に変化し得る。現在のエージェント評価は通常、選択したハーネスの下での下流タスク性能を報告するだけであり、ハーネス自体を開発するモデルの能力は比較的未解明のままとなっている。本稿では、評価の単位をタスク出力から実行可能なインフラストラクチャへと移すベンチマークHarnessDevを提案する。HarnessDevは2つの段階で構成される。Creation段階では、エージェントは最小限のシードと少数のケースから出発し、完全な実行システムを構築する。Evolution段階では、自身が作成したハーネスを起点として、下流タスクの実行フィードバックを用いてハーネスを反復的に改訂し、ベンチマーク性能の向上を目指す。次に、構築された各ハーネスを、能力（未見ベンチマークでのタスク成功率）と効率（実行トークンコスト）の観点から評価する。報告するCreationの結果は、6つの作成側LLM、4つのドメイン、および合計2,207件の一意な下流インスタンスを備える5つの下流ベンチマークにわたり、開発から除外された隠し評価タスクが用いられている。生成されたハーネスは、コード、検索・研究の分野では、人間が作り込んだ成熟した参照ハーネスに依然として大きく及ばない一方、文章作成と機械学習の実験の分野では選択した参照ハーネスに匹敵するかそれを上回り、実行コストには大きなばらつきが見られる。Evolutionはある程度の性能向上をもたらすが、その向上は不安定であり、未見タスクへの転移も部分的にすぎない。さらに、ランタイムモデルを固定した実験から、性能向上はハーネスを実行するモデルに強く依存し、モデル間での転移が限られることも示される。
人間の学習の重要な形態の多くは、「より優れた物理学者になる」「研究を上達させる」といった曖昧な目標から始まる。学習者は、目標を解釈し、能力のギャップを特定し、学習方法を決定し、実際に改善したかどうかを判断しなければならない。これに対して、LLMの自己進化に関する既存研究は通常、人間が指定したタスクと評価指標から始まり、自己進化を「何を学ぶか、どう学ぶか」の決定ではなく、明示的な目的の最適化に還元している。我々は、曖昧な目標駆動型自己進化のためのベンチマークであるASPIREを提案する。ASPIREは、自然言語による能力目標のみを提供し、下流の評価タスクは非公開のままである。エージェントは、データと更新方法の選択、訓練信号と検証信号の構築、評価タイミングの決定を通じて、目標を具体化しなければならない。ASPIREは、統合された対話環境の中でモデル重みの進化とエージェントハーネスの進化の両方をサポートし、得られたシステムを、6つの目標を対象として専門家が作成した非公開の520項目セットで評価する。我々の実験は、曖昧な目標が探索の労力を目標解釈へと向けさせることを示している。現在のエージェントは、訓練とハーネス編集のループを定型的に完了させるものの、重みレベルの改善は乏しく不安定であり、最も強力な進化ハーネスでも、人手で設計されたQwen-Agent参照実装には及ばない。エージェントはしばしば適合しないデータで訓練し、限定的な自己評価を信頼するため、局所的な改善は非公開評価へ転移せず、探索と訓練を継続すると、それまでの改善が消去され得る。
本稿では、データ準備から長時間にわたる推論までをカバーする、対話型映像世界モデル構築のための完全公開基盤SolarWMを紹介する。異種のデータソースと映像バックボーンにわたる学習は困難である。データセットは時間スケール、カメラジオメトリ、画質、動き、キャプションスタイルが異なり、映像生成モデルもそれぞれ異なる表現とアーキテクチャを採用している。したがって、単純なデータ混合とモデル固有の実装は不整合な教師信号を生み出し、結果の再現と比較を困難にする。SolarWMは、再構成可能なマルチソースデータエンジンとバックボーン固有の適応フレームワークによって、この結合問題に対処する。このエンジンは、10のデータセットに由来する143万本の標準クリップを、視覚観測、メトリックカメラジオメトリ、キャプション、品質メタデータ、選択判断、来歴を網羅した、フレーム整合のとれた統一仕様に変換し、ソース処理と混合データ構築を分離する。共有のカメラ条件付け・学習・推論インターフェースの下で、我々はWan2.2、LTX-2.5、MiniMax-H3に基づく5B〜33Bのモデル4つを、それぞれのバックボーン本来の表現と学習目的を保ったまま実装する。統一された3段階のレシピは、双方向適応、ティーチャーフォーシングによる自己回帰初期化、分布マッチング蒸留を組み合わせる。その結果得られる因果モデルは、学習に用いたのがわずか5秒間のシーケンスのみであるにもかかわらず、数分から数時間に及ぶロールアウトにわたってリアルタイムの対話を可能にする。得られたデータ、パイプライン、レシピ、重み、フレームワークを公開することで、SolarWMは対話型世界モデル研究のための再現可能かつ拡張可能な基盤を提供する。
LLMエージェントの評価は、その開発を導くために不可欠であるが、そのコストは法外なまでに高騰している。フロンティアモデルをエージェントベンチマークに1回通すだけで数百〜数千ドルを要し、このコストは反復的な開発サイクルを通じて繰り返し支払われる。従来の取り組みはベンチマーク蒸留を中心として評価タスクの数を減らすものの、保持された各タスクの実行コストには手を付けていない。本研究では、これとは相補的な効率化の軸として早期結果予測を導入する。これは、各タスクの内部でコストを削減するアプローチである。我々の重要な洞察は、エージェントの最終結果は、実行が完了するはるか前に、その途中の振る舞いから明らかになることが多いという点にある。このアイデアを、EarlyEvalという軽量フレームワークとして具体化した。EarlyEvalは、行動・テキスト・参照解の特徴量に基づいてLightGBMによる成功分類器と失敗分類器のペアを訓練し、いずれかの分類器が較正済みの信頼度閾値を超えた瞬間にエージェントの実行を停止する。ステップごとの追加オーバーヘッドは無視できるほど小さい。SWE-bench Verified、TerminalBench、Toolathlonの3つのベンチマークにわたって、EarlyEvalは89%〜97%の予測精度で、エージェントのステップの13%〜26%を削減し、入力トークンを最大44.1%、出力トークンを最大29.4%削減できる。その一方で、エージェントごとの解決率への影響は平均でわずか1〜2パーセントポイントにとどまる。
リトリーバルは、現代の検索・広告システムの最初の段階であり、膨大なアイテム集合から候補集合を選択して、後段のランキングやオークションへ渡す役割を担う。最近の研究では、クエリ拡張、データ合成、検索フィードバック学習などを通じてLLMをリトリーバル改善に活用する動きが強まっている。しかし、そうした生成コンポーネントは通常クエリ側の拡張に用いられるだけであり、最終的なマッチングは依然として後段のリトリーバーに委ねられている。本稿では、クエリ側とアイテム側の双方でLLMが直接検索表現を構築するよう訓練するリトリーバルフレームワークCoGRを提案する。各生成器はコンパクトなキーワード集合を生成し、それが転置インデックスを介して直接マッチングされるため、既存のキーワードベースの検索インフラとの互換性が保たれる。CoGRは2段階の訓練パイプラインを採用する。まず教師ありファインチューニングにより整合されたキーワード空間を構築し、その後、共進化的強化学習を用いて、クエリ側とアイテム側の生成器を、相手側の凍結インデックスに対してGRPOで交互に最適化する。両側は、クエリからアイテムへの検索F_1という同一の目的を最適化する。すなわち、クエリ側は検索F_1を直接報酬として受け取り、アイテム側は自身が生成したキーワードが引き起こしたクエリ側F_1の変化を測る反事実的限界報酬を受け取る。スパース、デンス、生成的検索の代表的な10ベースラインとの比較において、CoGRは内部のAPPマーケットプレイスデータセットと公開ベンチマークWANDSの両方で最高性能を達成し、最強のベースラインと比べてF_1をそれぞれ10.9%および36.1%向上させた。さらなる分析により、訓練を通じて安定した共進化が起こり、クエリとアイテムのキーワード空間の整合性が徐々に高まることが示された。
言語モデルはそのアテンションの大部分をコンテキストのごく一部に費やすにもかかわらず、重要ないくつかのトークンを見つけるためにKVキャッシュ全体を読み取る。ユーザーが100万トークンからなる会話における過去の詳細について質問した場合、グローバルアテンション層は応答の各トークンを生成するたびにコンテキスト全体を走査しなければならない。有力なアプローチとして、軽量なプロキシスコアにより関連トークンを事前選択することでこのコストを軽減する手法があるが、このような外因的スコアリングは依然として各ステップでO(N)のコストを要する。我々は、モデルはコンテキストのどの部分が関連するかを既に知っているのではないか、という単純な問いに動機づけられた内因的アプローチをとる。この目的のため、我々は宣言的アテンション（DA）を導入する。これは、モデルが思考連鎖の中でどこにアテンションを向ける必要があるかを宣言させるプロトコルであり、生成を<global>（コンテキスト全体）、<focus>（特定の領域）、<local>（直近の出力のみ）の3つのモードに分割する。推論エンジンはこれらの宣言をツール呼び出しのように解析し、KVキャッシュ読み取りの大部分をスキップする。15の長文脈タスクにおけるゼロショット評価では、既製モデル（Gemma-4-31B、Qwen-3.6-27B）上のDAは、デコード中にアテンションされるトークン総数をそれぞれ52.0%、31.1%削減し、精度低下は1.27pp、2.75ppと小幅であり、モデル規模の増大に伴って縮小する。DAはスパースアテンションの新たな軸を切り開くものであり、将来の研究が探求できる学習ベース手法の下でのさらなる可能性を有する。
テキストが豊富な視覚入力には、ピクセル空間内で言語を直接読み取り、検索し、圧縮できるモデルが必要である。しかしながら、既存のピクセルテキストエンコーダは、固定解像度の事前学習、視覚的ショートカット学習、視覚的グラウンディングの弱さ、多言語の視覚テキスト理解といった課題を抱えている。本研究では、堅牢な視覚テキスト表現学習に必要な根本的な設計原理を調査した。系統的な制御アブレーション実験により、以下の4つの重要な構成要素を特定した。(1) 可変の画像解像度とレンダリング時のフォントサイズは、高解像度文書への汎化における空間的プロキシを提供する。(2) 自然な画像・テキストペアはグラウンディングに不可欠であり、テキストのみへの崩壊を防ぐ。(3) レイアウト認識型レンダリングはピクセルレベルのショートカットを防ぐのに有効である。(4) 2段階の多言語カリキュラムは効果的な言語横断的アライメントを可能にする。これらの原理をスケーラブルな学習レシピに統合し、オンザフライレンダリング、統合対比グラウンディング、および2億8000万件の学習サンプルからなる多言語カリキュラムを用いて学習した、ネイティブ解像度の視覚エンコーダであるPixel Linguist IIを訓練した。Pixel Linguist IIは、英語、言語横断的、および多言語のVisual STSとViDoReにおいて新たな最先端（SOTA）結果を達成し、さらにMLLMの下流評価も向上させた。特筆すべき点として、Pixel Linguist IIは80%の視覚トークン圧縮下でも堅牢性を維持し、光学的コンテキスト圧縮への大きな可能性を示している。コードとリソースは https://github.com/Pixel-Linguist/Pixel-Linguist-II で公開している。
大規模言語モデル（LLM）はますます外部環境と相互作用し、相当量の行動経験を蓄積している。しかし、既存のエージェントベンチマークの大半は、LLMを固定方策として評価している。そのため、エージェントが自身の行動を能動的にテストし、結果として得られた経験を判定し、その経験を将来の意思決定の改善に利用できるかは、依然として不明である。本稿では、自己テスト（Self-Testing）、自己判定（Self-Judging）、自己改善（Self-Improvement）という三つの相互に関連する能力を通じてLLMの自己改善を評価するインタラクティブベンチマークS^3Gymを紹介する。S^3Gymは、許容的な探索と厳格なホールドアウト評価を分離し、このプロトコルを、実行可能な環境検証器を備えた七つのテキストベースゲームに実装する。さらに、相互作用経験を取り込む三つの経路、すなわち履歴を直接利用するICL、スコア条件付きサマリーメモリ、パラメータ学習を評価する。 実験により、自己改善は自動的でも一様でもないことが明らかになった。コンテキストレベルの経験は、一部のモデルとゲームの組み合わせで性能を向上させるが、最も効果的な経路はタスク構造に強く依存する。サマリーは、経験が再利用可能な戦略的ルールへと圧縮できる場合には有益である一方、成功が正確で状態依存的な情報に依存する場合には、生の履歴よりも劣ることが多い。パラメータ学習は一部のタスクで大きな改善をもたらすが、他のタスクでは不安定な改善や深刻な負の転移を示す。これらの知見は、成功した行動を認識するだけでは不十分であり、エージェントはフィードバックを実行可能かつ転移可能な方策へ変換しなければならないことを示している。S^3Gymは、このプロセスを診断し、相互作用経験を信頼できる自己改善へ変換することを妨げるボトルネックを特定するための統一的枠組みを提供する。
知識ベースの視覚質問応答（KB-VQA）は、ロングテールエンティティを含む質問に答えるために外部情報の検索に依存している。しかしながら、既存の検索パイプラインは主にCLIPスタイルのデュアルエンコーダを採用しており、これらはエンティティレベルの意味的整合性よりも表面レベルの視覚的類似性を優先する。このパラダイムは、意味的に同一の概念が大きな視覚的変動を示す場合や、異なるエンティティが視覚的に類似して見える場合にしばしば失敗する。この問題に対処するため、我々はKB-VQAに特化した初のMLLMベースの埋め込み検索器であるKBMRを提案する。KBMRは、MLLMの頑健な自己回帰能力を活用し、画像を概念の同一性をより良く保持する意味空間へ写像する。Wikipedia規模の検索におけるノイズを含む教師信号の問題に取り組むため、連続的なエンティティ整合性重みを生成するMLLMベースの意味判別器を導入する。これらの重みは、効率的なハードネガティブサンプリングと、固定的な二値ラベルを超えたソフトな教師信号を可能にする、新規の連続的意味蒸留の目的関数を導く。広範な実験により、KBMRがCLIPベースラインを大幅に上回り、検索Recall@1で最大14.7%の改善、エンドツーエンドのVQA精度で9.4%の向上を達成することを実証する。コードはhttps://github.com/realHarryX/KBMRで公開されている。
マルチモーダルモデルは、生成的な視覚言語モデリング用に設計されたアーキテクチャに基づくことが多く、典型的には個別に事前学習された視覚エンコーダと因果言語モデルを組み合わせる。ColPaliのような視覚文書検索モデルは、これらのモデルをエンコーダとして転用しており、非生成タスクでありながらVLMのパラメータ数と計算量のオーバーヘッドを引き継いでいる。 本稿では、多言語テキストと未加工の画像パッチを単一の双方向Transformerエンコーダで処理する、260Mおよび800Mパラメータのマルチモーダル・多言語双方向エンコーダ群NeoMMEを提案する。両モデルは、テキストのマスク付き離散拡散を学習目的としてスクラッチから事前学習される。この学習目的は、マルチモーダルサンプルでは可視画像パッチを条件とする。また、両モデルとも16,384トークンのコンテキストをサポートし、標準的な4K UHD画像を最大2枚分までエンコードできる。 下流タスクにおける性能を実証するため、デンスヘッドと後期相互作用ヘッドを同時に学習させながらNeoMMEをファインチューニングする。ViDoRe v3ベンチマークでは、NeoMME-Retriever 260MはnDCG@10が0.523となり、パラメータ数が800M未満の全評価対象モデルを上回る。NeoMME-Retriever 800Mは0.556に達する。また、NVIDIA L40S上で入力画像サイズを2048×2048に統一した条件では、NeoMME-260MはColModernVBERTの約2倍のスループットでページをエンコードできる。 階層的トークンプーリングと非対称量子化により、後期相互作用型のマルチモーダル文書埋め込みを255分の1に圧縮しつつ、ベースラインのnDCG@10の95%以上を維持する。我々はNeoMMEをHugging Face Transformersにコントリビュートし、事前学習済みバックボーンと検索互換チェックポイントをApache 2.0ライセンスのもとで https://hf.co/collections/Hcompany/neomme に公開する。
コンパクトなトークン列は効率的な3D生成に不可欠である。しかし、既存の3Dトークナイザは通常、潜在表現を空間領域ごと、または固定サイズのグローバルトークンの集合として構成しており、極めて少ないトークン予算に圧縮すると、どちらも再構成品質が大幅に劣化する。本論文では、極めて短いトークン列からの高忠実度再構成のために設計された3DトークナイザであるZipTok3Dを提案する。その主要なアイデアは、オブジェクトの幾何形状を段階的に情報量が増すグローバルトークンのプレフィックスとして構成し、それらのコンパクトな表現を反復デコードによって展開することにある。具体的には、ネストされたドロップアウトが学習中にエンコーディング後の潜在シーケンスをランダムに切り詰め、保持された各プレフィックスに完全なオブジェクトの再構成を要求することで、先頭トークンに本質的な幾何学情報を優先的に配置する。そしてデコーダは、パラメータ共有のTransformerブロックを繰り返し適用し、各プレフィックスから詳細な幾何形状を復元する。個別の生成的サンプリング段階は不要である。同じトークン次元において、ZipTok3Dは、ShapeNetではわずか1トークン、TRELLISでは4トークンで、32トークンのCOD-VAEベースラインに匹敵する再構成品質を達成し、それぞれ32倍および8倍短いトークン列を実現する。
1枚の画像は千の言葉に値するかもしれないが、ほとんどのキャプション生成モデルは、それをわずかな言葉でしか説明しない。現代の視覚言語モデルは、流働でありながら概略的なキャプションを生成する一方で、画像を視覚的に特徴づける属性、数、質感、素材、空間関係を恒常的に見落とす。最近の多段階システムは、生成、分解、検証、書き換えを通じてこれらの詳細の一部を回復できるが、それには推論レイテンシの大幅な増加という代償が伴う。 本稿では、シングルパスでの詳細な画像キャプション生成のための、参照不要の埋め込み空間目的関数SimLossを提案する。SimLossは、視覚言語モデルに対し、InfoNCE対比損失を通じて、射影された隠れ状態表現を凍結済みの画像埋め込みと整合させるよう訓練する。これにより、テキスト復号に先立って密な視覚的教師信号が供給され、人手で書かれた詳細なキャプションも、多段階パイプラインによる擬似キャプションも必要としない。本手法は、ローカルで利用可能な埋め込みモデルを介して逆伝播するSimLoss FFTと、そのモデルをブラックボックスの報酬として扱うSimLoss GRPOという2つの変種として実装される。 シングルパス方式、多段階検証方式、報酬最適化方式、知覚認識型方式の各ベースラインと比較して、完全微分可能なファインチューニング変種であるSimLoss FFTは、最も高い適合率を達成しつつ、F1スコアは多段階方式にほぼ匹敵する。しかも、シングルパス推論を維持したまま、多段階パイプラインの約20倍の速さで動作する。報酬ベースの変種であるSimLoss GRPOは、最も高い再現率を達成する。これらの結果は総合的に、埋め込み空間における教師信号が、シングルパスのキャプション生成モデルと同等のレイテンシで、多段階検証の品質を回復できることを示している。
検証可能な報酬を用いた強化学習（RLVR）は、大規模言語モデル（LLM）のポストトレーニングにおける強力なパラダイムとして台頭してきたが、粗い結果報酬に依存しているため、中間的な推論プロセスへのガイダンスが限定的である。プロセス報酬モデリングやオンポリシー蒸留などの既存手法は、専門化された報酬モデルへの依存や、教師と生徒の間での同一の推論パターンの仮定といった追加の制約を伴う。しかしながら、推論プロセスが最初に誤った後は、その後の推論はすでに無効なプレフィックスに条件付けられているため、その後の推論を評価しても得られる追加情報は限られることを我々は観察する。そこで我々は、既製のLLMを教師として利用し、各ロールアウトにおける最初の誤りを特定する報酬形成戦略であるCliffを提案する。これにより、ロールアウトは正しいプレフィックスと誤ったサフィックスの2つの部分に自然に分解される。Cliffはこの信号をトークンレベルのアドバンテージに変換し、正しいプレフィックスには正のアドバンテージを、その後の部分には負のフィードバックを割り当てる。12の異なるシナリオにわたる実験により、Cliffは控えめな能力の教師を用いた場合でも、オンポリシー蒸留を15%、標準GRPOを7%上回り、推論性能を一貫して向上させることが実証された。さらに我々は、Cliffにおける「ground truth」の役割を分析し、そのトレーニングダイナミクスを調査する。これらの結果は、Cliffが、より豊かで細粒度の監督を通じてRLVRを改善するための、シンプルで汎用的かつ効果的なアプローチであることを示している。
サンプリングされたトークンに基づくオンポリシー蒸留（OPD）は，生徒自身が生成したトークンを用いて教師から生徒への能力転移を効率的に行い，サンプリングされたトークンに対する教師確率のみを必要とする。しかしこの手法は，多様性蒸留の失敗にしばしば陥る。すなわち，生徒のpass@1は改善する一方でpass@kが頭打ちとなり，教師の多様性を継承できない。この現象を説明するため，我々は一次局所エントロピー影響（First-Order Local Entropy Influence）を導入する。これは符号付きの一次代理指標であり，各更新がエントロピーへ及ぼす効果を，教師と生徒の対数確率ギャップおよび生徒の局所確率構造に分解し，エントロピー収縮と負の影響位置との関連を経験的に示す。この知見に基づき，我々は影響指向適応オンポリシー蒸留（Influence-Directed Adaptive On-Policy Distillation，IDA-OPD）を提案する。IDA-OPDは，教師のサンプリングされたトークンの対数確率のみを用いて，高コストな全語彙Forward-KL目的関数に頼ることなく，エントロピーを拡大する更新を維持しつつ，エントロピーを収縮させる更新をダイバージェンス適応型のアドバンテージ縮小へと置き換える。推論タスク向け蒸留における実験により，IDA-OPDは，全語彙の教師情報を一切用いずに，pass@kを一貫して改善して蒸留を通じて教師の多様性を継承し，最も強力な教師情報利用手法より厳密に低いコストで同等の性能を達成し，さらにバニラOPDのpass@1も概ね維持することが示された。
エージェントの性能は、モデルパラメータと、コンテキストおよび制御フローを管理する実行可能なハーネスコードの双方に依存する。どちらか一方の構成要素のみを単独で最適化すると、凍結された他方の構成要素がシステムのボトルネックとして残る可能性がある。というのも、重みの更新はどのハーネスが有効かを変え得る一方で、ハーネスの更新はモデルのどの能力が引き出されるかを変え得るからである。既存の同時適応手法は重みとテキストプロンプトを最適化するが、より広範なハーネスは固定したままである。本稿では、現在のハーネスの下でモデルを更新するフェーズと、更新されたモデルの下でより良いハーネスを探索するフェーズを交互に行うシンプルな手法、Weight-Harness Alternating LEarning（WHALE）を提案する。この2つのフェーズは、それぞれオンライン棄却サンプリングによるファインチューニングとMeta-Harnessによって実現される。切り替えのタイミングは重要な設計上の選択である。WHALEは、変化し続ける相手側に対して過剰最適化を行わずに、真の改善とノイズを区別するため、固定のフェーズ長、または学習信号に基づく適応的パティエンス規則を用いる。3つのドメイン（検索質問応答、数学的推論、チェスのパズル）におけるQwen3.5-2B/4Bエージェントを用いた評価では、WHALEはbest mean@8精度において、重みのみの最適化、ハーネスのみの最適化、およびFast-Slow Trainingを4.15〜24.38パーセントポイント上回った。どちらの構成要素もボトルネックとなり得る。ハーネス探索はSearchQAにおいて、はるかに少ないロールアウトで重みのみの最適化のピーク精度に匹敵する一方、数学の精度を改善できるのは重み更新後のみである。また、小刻みな交互更新は、段階的な重み→ハーネス順の最適化を精度とロールアウトコストの両方で上回る。コードはhttps://github.com/krafton-ai/WHALEで公開されている。
従来の話者属性付きASRシステムは、ASRと話者ダイアライゼーションを2つの別々のタスクとして扱っていました。近年、VibeVoice-ASRなどのエンドツーエンドモデルが、これら2つのタスクを単一のモデルに統合しました。しかし、既存の統合モデルは依然として主にオフライン認識を対象としており、リアルタイム音声アシスタントやエージェントに求められる低遅延要件を満たすことは困難です。この問題に取り組むため、本稿では、ストリーミング話者属性付きASRへのLLMベースのエンドツーエンドアプローチの先駆けとなるVibeVoice-ASR-Streamingを提案します。本モデルは、固定サイズの音声チャンク、少量の先読み音声、そして過去のテキストを交互に配置します。これにより、別個のダイアライゼーション段階を必要とせず、音声が到着するたびに「誰が何を言ったか」を生成できます。書き起こし精度については、7Bモデルが5つの評価セット全体で平均WER/CERが最も低い値を達成しています。話者帰属に関しては、13の評価設定のうち12で最良または最良タイの結果を達成しています。また、1.5Bモデルと7Bモデルの重みを推論コードとともに公開します。
歴史的な新聞は公的生活の豊かな記録であるものの、その密で不規則、時にはノイズの多いレイアウトにより、これらの資料への計算的なアクセスは困難かつ限定的なものとなっている。我々は、歴史的な新聞スキャンから高品質で構造化されたデータセットを抽出するためにボストン公共図書館と共同設計したモジュール式システムであるInstitutional Newspapers Pipelineを提示する。本パイプラインは、各ステップが解釈可能かつカスタマイズ可能であり続け、またパイプライン全体としてワークステーションレベルのハードウェアでも実行可能な程度に計算資源の消費が抑えられるよう設計された。パイプラインは各スキャンを多段階のプロセスで処理する。すなわち、スキャンをタイプ非依存の個別クロップにセグメント化し、得られた各セグメントに対してOCRを実行した後、すべてのクロップに対してテキスト分析、タイプ分類、読取順序検出、固有表現認識、主題分類、言語検出、および事前計算済み埋め込みの生成を実行する。我々はこのパイプラインをボストン公共図書館の所蔵資料の一部に対して実行し、その結果をオープンデータセットとして公開した。光学文字認識（OCR）の出力は、1795年から1930年の間に発行された1,473,635件のパブリックドメインの新聞スキャンから抽出された、8,310万件の個別クロップにわたる163億のo200k_baseトークンに相当する。本稿では、各処理ステップの手法、我々が訓練した小規模モデル、ならびにその過程で収集した評価結果とデータセット規模の測定値について述べる。本稿はパイプライン、モデル、データセットの公開に付随するものである。我々は本研究を、数千万件の新聞スキャンから高品質なデータを引き出すための重要な一歩として位置づける。
競技プログラミングは、大規模言語モデルの推論能力を測る重要なテストとなっており、IOIやICPCといった国際大会は、その中でも最も困難な舞台を代表する。本稿では、大規模な問題キュレーション、合成推論トレース、教師ありファインチューニング（SFT）、強化学習（RL）を組み合わせたエンドツーエンドの特化パイプラインを提案する。22,000問のキュレーション済み問題を用いて、Nemotron-3-Nano-CC（30B-A3B）をSFTとRLにより訓練し、Nemotron-3-Ultra-CC（550B-A55B）はSFTのみで訓練した。さらに、フィードバック駆動型のテスト時計算戦略であるGenCorrectを導入する。これは、多様な解法を反復的に生成・評価・改良する手法である。IOI 2025において、Nano-CCはポストトレーニング後に130点から291点へ改善し、GenCorrectを用いると468点に達して、金メダル基準の438.3点を上回った。一方、Ultra-CCは502点を達成した。これらの結果に基づき、競技特化型のUltra-CCシステムを開発し、IOI 2026中に前向き評価を行った。人間の参加者と同じ時間、インターネットアクセス、提出制約の下で、本システムは600点満点中535.4点を獲得し、金メダル基準の361.12点と人間の最高得点である498.27点の両方を上回った。我々の知る限り、これはIOIの問題セットにおいて最高得点の人間参加者を上回った初めてのAIシステムである。
長文コンテキストのLLM推論におけるアテンションのプリフィリング段階は二次関数的にスケールするため、セルフアテンションが深刻な計算上のボトルネックとなる。従来のスパースアテンション手法は、固定パターンやオフラインでのプロファイリングを通じてこの問題を緩和してきたが、入力依存のアテンション構造に適応する柔軟性を欠いている。近年の動的手法は、ヘッドをスパースパターンへリアルタイムにルーティングすることでこの課題に対処しているが、間接的なルーティング代理指標に依存したオーバーヘッドと、ソフトマックス後の質量階層を見落とす予算配分メカニズムに問題がある。本稿では、CRISP（Cliff-awaRe Input-adaptive Sparse Prefilling）を提案する。これは、この動的ルーティングパラダイムにおける2つの構造的課題を特定し、対処するものである。第一に、ルーティング決定が代理アテンションマップの構造から直接読み取れることを示す。我々は、Jensen-Shannon Divergence（JSD）ルーティングをC_structに置き換える。C_structは、Vertical-Slash互換位置における質量を測定する構造的代理指標であり、プーリングされた行列乗算とそれに続くKLダイバージェンスのオーバーヘッドの両方を排除しながら、JSDのルーティング決定を再現する。第二に、ソフトマックス後の質量クリフを形式化し、厳密な累積カバレッジ閾値が長文コンテキストにおいてO(n)の背景ノイズを蓄積することを理論的に実証する。CRISPは、ノイズフロアに基づくシンク認識型閾値によりこの問題を回避する。実証的には、InfiniteBench、RULER、LongBenchの2つのモデルファミリーにわたって、CRISPは全体として最強のスパース手法であり、検索中心のベンチマークにおいて厳密なデンスアテンションに匹敵するかそれを上回り、ベースラインと比較して検索タスクで最大+28.0ポイントを回復し、512kトークンにおいて主に選択時のO(n)ノイズ除去と構造的整合性の維持により、最大5.30倍のアテンション高速化を達成する。
情報検索（IR）は、多様な視点を許容するオープンエンドなクエリをますます対象とするようになっている。しかし、既存のIRベンチマークは主にクローズドエンドなクエリに焦点を当てており、オープンエンドなベンチマークでさえ、その大部分は、クエリの根拠となる文書が単一の主題領域とモダリティに限られるクエリで構成されている。我々は、多様な領域とモダリティにわたるオープンエンドなクエリの多面的な視点を、検索モデルがどの程度カバーできるかを評価するベンチマークであるMulti^3IRを提案する。これは104.9K件のStack Exchangeクエリからなり、各クエリには、そのクエリが暗黙に内包する視点を捉えた視点記述がアノテーションされている。さらに我々は、ノイズベクトルを学習することで埋め込みを多様でありながら有意義な意味的方向へ導く、パラメータとラベルの両方に効率的な手法であるSPINを提案する。実験により、既存のマルチモーダル検索モデルは単一視点バイアスを持つ一方、SPINはMulti^3IRにおける視点の網羅性を大幅に改善し、未見のオープンエンドなIRベンチマークにも良好に汎化することが示された。データセットと実験コードはhttps://github.com/seokwon99/Multi3IRで公開されている。
研究論文を忠実にリポジトリレベルの実装へ変換することは、依然として困難な課題である。論文はメソッドを高水準で記述することが多く、実装上の前提を暗黙のままにし、生成されるリポジトリがメソッドのロジック、評価プロトコル、ファイル間の一貫性を保持することを要求するためである。近年、論文コード生成エージェントは進歩しているものの、その中間出力は自由形式の計画や要約として提示されることが多く、後続のコーディングエージェントによって無視、再解釈、圧縮される可能性があり、その結果、アルゴリズムの単純化やリポジトリ構造の不整合が生じる。これらの課題に対処するため、我々はPaperCompilerを提案する。これは、論文に基づく根拠を明示的なリポジトリレベルの実装仕様へコンパイルする、論文コード生成フレームワークである。PaperCompilerは、実装に関連する根拠を情報源の来歴を保持したまま接地し、論文で裏付けられた情報、推論された情報、外部委任された情報、未解決の情報を明確に区別する。生成された仕様は、非劣化要件、所有権の割り当て、ファイル間依存関係、ファイルレベルの制約を符号化する。リポジトリ生成はこれらコンパイル済み仕様に従って進行しつつも、論文によって固定されていない局所的なエンジニアリング上の選択に対しては柔軟性を保持する。PaperCompilerはPaper2CodeBenchにおいて強力なベースラインを上回り、参照ベースの忠実度を13.8%相対的に向上させ（3.64から4.15へ）、高深刻度の評価者批判を13.2%から6.1%へ削減した。
埋め込みベースのコード検索は、コーディングエージェントや検索拡張型コード生成の中核的要素であり、そこでは語彙的に類似したコードを取得することよりも、正しいコードを取得することのほうが重要となる。既存のコード検索ベンチマークは、各クエリのカノニカル実装を対象とした、制御された実行検証済みの単一編集バリアントを検索プール内に配置しておらず、そのため、埋め込み表現が正しいコードと、ニアクローンだが誤ったコードとを機能的に判別できるかという問いは、検索の枠組みでは未解決のまま残されている。この問いに答えるには、検索プール自体に、対象となる反事実例、すなわち各カノニカル実装とほぼ同一の実行検証済みバグ付きバリアントが含まれるベンチマークが必要であり、それによって検索器のランク順序を、トピックやコード同一性の重なりではなく、機能的な判別の観点から直接検証できる。本稿では、ExecRetrievalを導入する。ExecRetrievalは939件のPythonタスクからなり、各タスクには実行検証済みのカノニカル実装1件と、実行検証済みのバグ付きディストラクタ最大4件が対応付けられている。各ディストラクタは、特定の1箇所を変更する機械的変異によって生成される。評価では、23種類のdense埋め込み構成とBM25を、各プロバイダーのネイティブAPI呼び出しで用い、対応のあるMcNemar検定とクエリ単位のブートストラップ信頼区間を適用した。プール内にニアクローン反事実例が存在する場合、最上位のホスト型システムはexec@10 = 1.00を達成する一方で、exec@1は0.331にとどまる。上位4システムでは、カノニカル実装がランク1にならなかった場合に、そのランク1に入るコードが、ペアとなっているバグ付きディストラクタである割合は91.5〜99.4%に達する。また、上位システムでは、クエリの67〜78%において、カノニカル実装のスコアが、対応する4つのディストラクタのうち少なくとも1つのスコアを下回る。完全なデータセット、実行オラクル、埋め込み行列、環境スナップショット、およびペアごとの統計検定は、付録DのURLで公開されている。
LLMは、複雑なタスクを自然言語で解決するために、専門化されたサブエージェントを統括するオーケストレーターとして、ますます広く利用されている。しかし、ゲームプレイやロボティクスといった多くの重要な領域では、利用可能な最強のエージェントは言語モデルではない。非言語エージェントをLLMと統合するには言語化、すなわち、各相互作用ステップにおいて、エージェントの豊かな連続表現を疎なテキスト要約へと圧縮することが必要となる。 言語化がボトルネックとなるかどうかを調べるため、我々はLLAMIA-Benchを導入する。これは、行動模倣、状態評価、自然言語による説明という3つの側面にわたる、6つの多様な協調チェスタスクからなるベンチマーク群である。各タスクは、LLMにもチェスエンジンにも単独では解けない、確立されたチェスの問題を具体化している。 LLMと非言語エージェントの協調を実現するため、我々は潜在状態の内在化を導入する。これは、サブエージェントの連続表現を学習済み状態トークンとしてLLMのトークンストリームに直接投影し、アクションが環境状態を進めるのに応じて動的に再符号化する手法である。 内在化と言語化による統合を比較した実験では、一貫した言語化負債が明らかになった。すなわち、性能ギャップはトレーニングの進行とともに拡大し、LLMを4Bから14Bパラメータへスケールアップしても持続する。潜在状態の内在化で学習された単一の14BモデルLLAMIAは、ベンチマークの全タスクにおいて、ツールアクセスを備えたGPT-5.1を含むタスク特化型エキスパートやフロンティアモデルに匹敵するかそれを上回り、タスク特化型ファインチューニングが崩壊する分布外設定でも汎化する。
モバイルAIは視覚的なオラクルとして機能し、ユーザーが何かの写真を撮ってその情報を尋ねることを可能にする。スナップ＆アスク検索は現在、モバイルAIの最も一般的な入り口の一つであるが、写真はしばしばぼやけており、テキストの質問は短かったり、打ち間違いを含んでいたりする。既存のベンチマークは、クリーンな入力のみを対象とするか、スナップ＆アスク検索における画像・テキストペアのロバスト性を切り分けて評価していない。そこで本稿では、スナップ＆アスクのマルチモーダル検索のロバスト性を評価する、画像・テキストのペアを扱う初のベンチマークであるSnapBenchを導入する。SnapBenchは、人手によるアノテーションを伴う1,145件のクエリと9,085件のギャラリー項目で構成され、53種類の制御された劣化条件を網羅している。我々は、デュアルタワー型エンコーダと埋め込みベースのVLMを含む16種類のマルチモーダル検索モデルを評価した。実験の結果、画像の劣化は検索性能を大幅に低下させる一方、テキストの劣化は主にテキストのみの検索に影響し、ジョイント検索（画像とテキストの併用検索）への影響は限定的であることが示された。また、クリーンな画像のみの検索がジョイント検索を上回る場合も多く、これはノイズを含む入力下では、粗いテキストが性能を引き下げ、クロスモーダルなフォールバックが働かないことを示している。SnapBenchは、スナップ＆アスクのシナリオにおけるロバスト検索を評価するための制御されたテストベッドを提供する。さらに本稿では、MOOR（Modality-anchored, Outlier-aware, Optimal Reweighting）とよぶ単純な適応的融合手法を提案し、スナップ＆アスク検索における信頼性を考慮したモダリティキャリブレーションの必要性を強調する。
動物の動作を理解することは、動物の行動やバイオメカニクスのモデル化にとって基礎となる。しかし、この分野の進展は、高品質な動作データの不足により、人間の動作研究に比べて大きく遅れている。人間の動作は制御された環境での収集が可能である一方、ほとんどの動物種ではそれが非現実的であり、その結果、規模が小さく適用範囲が限られたデータセットしか得られず、アニメーションなどの下流アプリケーションに制約をもたらしている。この課題に対処するため、我々はKirinを紹介する。これは、映像から動作を再構築し、大規模に動作の事前知識を学習し、アニメーション用アセットに直接適用可能な現実的な動作を生成するフレームワークである。我々は、非制御環境で収集された大規模な動物映像群を用いて3D動作シーケンスを再構築し、それらにキャプションを付与することで、四足動物を対象とした、整合性のある映像–テキスト–動作のタプルを提供する初の大規模データセットAiM3Dを構築した。このデータセットに基づき、テキストと画像の両方を条件としてさまざまな動物種にわたる現実的な動作生成を導く、視覚誘導型の動作生成モデルを開発する。最後に、既製の画像から3Dへの変換モデルを活用し、生成された動作によって3Dメッシュのリギングとアニメーションを自動的に行い、そのままレンダリング可能なアニメーション動物を生成する。これらを組み合わせることで、我々のデータセットとフレームワークは、テキストおよび画像で条件付けされた大規模な動物動作生成とアニメーションの新たな基盤を確立する。プロジェクトページ: https://kirin-ani.github.io/
テキストとコードのみで訓練された大規模言語モデル(LLM)は、認識可能な画像を描画するプログラムを生成できることがある。しかし、これが2次元空間レイアウトの内部表現を反映しているのか、それとも単に空間記述をコードに変換する能力に過ぎないのかは不明である。我々は、これらの要因を分離するベンチマークであるAutoregressive Mosaics(AM-Bench)を紹介する。第一に、翻訳タスクでは、画像の幾何学的情報を完全に言葉で指定したプロンプトをモデルに与え、その画像を生成するコードを求める。第二に、レイアウトタスクでは、明確に指定されていないプロンプトからモデルが画像を構成することを要求する。オープンウェイトのテキスト・コードのみのモデル8つにわたって評価した結果、すべてのモデルが指定された幾何学的情報をコードに確実に変換できる一方で、オープンエンドのレイアウト性能はモデル間で大幅に異なり、これらの差異がコード生成能力のみでは説明されないことが示された。さらに、出力メディアのアブレーションにより、モデルが使用する表現のインターフェースまたはメディアが重要であることが示される。手続き型コードを生のSVGに置き換えると、すべてのモデルでレイアウトスコアが向上する。最後に、モデルの活性化のプロービングにより、生成前に粗いレイアウト計画が存在するが、それはプロンプトによって暗黙に示されたレイアウトのみを反映していることが示される。生成中、モデルは当初の固定された計画を実行するのではなく、進化する幾何学的状態を追跡する。全体として、これらの結果は、テキストのみのLLMにおける2次元空間性能がモデルと出力メディアの両方に依存し、コード生成能力のみでは説明されないことを示している。
本稿では、折り紙のデモンストレーションビデオから明示的なパラメトリックな折りプログラムを直接推論するエージェント型フレームワークFoldingAgentを提案する。本フレームワークは、エージェントが幾何学的遷移のシミュレーション、物理的妥当性の検証、視覚コンテンツの検索と比較、そして自身の予測の評価を行うことを可能にする一連の専用ツールを備えた事前学習済み視覚言語モデル（VLM）の推論能力を活用する。視覚コンテンツを折りプログラムに変換するために、我々は、紙の形状と一連のパラメトリックな折り動作から構成されるパラメトリック空間を定義する。静的な折り線パターンを予測するモデルとは異なり、本エージェントは逐次的に動作し、行動を再計画する能力を有するため、多段階の折り動作に内在する誤差の蓄積を効果的に軽減する。本手法は、主に非構造化された視覚的デモンストレーションを通じて共有される人間の折り紙知識と、折り線パターンや実行可能なパラメトリックプランなどの構造化されたパラメトリック表現に通常依存する計算手法との間のギャップを埋める一歩となる。我々は、正解の幾何情報と動作ラベルを備えた多様なピュアランド折り紙ビデオを含む新規ベンチマークPurelandFold上で本手法を評価する。評価結果は、VLMの推論と専用ツール群および物理シミュレーションを組み合わせることで、非構造化された視覚的デモンストレーションを、実行可能で物理的に妥当な折り手順へと変換できることを示している。
専門エージェントのタスクは、公開コーパスには存在しない規約に依存することが多い。しかしベンチマークでは、エージェントがそうした規約にアクセスできるかどうかが制御されることはほとんどない。本稿では、タスク指示と、非公開の規約・参照表・ユーティリティ演算子を含むコンパクトなアーティファクトとを分離する、知識ゲート付きタスク構築プロトコルを提案する。構築時の来歴、アーティファクト提供条件と非提供条件の間でバイト単位で同一のタスク指示、漏洩監査、実行可能なウィットネスにより、アーティファクトへの依存性が明示的かつ検証可能になる。15件のキャリブレーションタスクでは、あるフロンティアエージェント構成がアーティファクト付きで68.0%の合格率を達成したのに対し、アーティファクトなしでは0%となった。また、あるタスクでは、もっともらしいが誤ったアーティファクトでも5回の試行すべてで0%となった。決定性ソルバーとルールコーパスは構造化タスクに正確なグラウンドトゥルースを提供する一方、名前付き基準ごとのルーブリックは、単一の実行可能オラクルでは検証できない出力を評価する。エージェント構成に依存するキャリブレーションスクリーニングでは、5試行の経験的知識ゲートスクリーニングを満たす7つのタスクが保持された。これらの実験は構築プロトコルの挙動を検証するものであり、保持されたタスクがポストトレーニングを改善することを実証するものではない。タスクスイートの一部と支援ツールは、https://github.com/DatagridsAI/Knowledge-Gated-Task-Construction で公開している。
モデル圧縮技術（枝刈りや量子化など）は、大規模言語モデル（LLM）の効率的な導入と高速化を促進する。しかし、最近の研究では、SparseGPTなどの重みスパース化手法が、モデル内の既存バイアスを増幅し、プロンプト中のペルソナを示す手がかりに応じて出力が大きく変動することが示されている。本稿では、人口統計学的に対照的な入力に対して定義される二次項を用いた表現レベルのデバイアシングを組み込んだ、訓練後枝刈り手法であるDebias-SparseGPTを提案する。本手法を幅広い生成系LLMに対して実験的に検証する。各種モデルおよびスパース性設定（25％、50％、構造化2:4スパース性）において、Debias-SparseGPTは、SparseGPTと比較して枝刈りに起因するバイアスを一貫して低減しつつ、モデルのパープレキシティとゼロショット精度を維持する。最も制約が厳しくモデル品質を大きく損なう2:4構造化スパース性パターンでは、較正セットを長文脈かつ内容豊富な事例で拡張することで、下流タスクの性能と公平性がさらに向上する。全体として、Debias-SparseGPTはスパースモデルの計算効率を保ちながら、バイアスと性能のトレードオフを改善する。
言語モデルによる次トークンの予測は、層を経るごとに形成されていく。レンズ手法は、中間の隠れ状態をトークンへデコードすることでこの過程を追跡する。しかし、レンズによる読み取りは、隠れ状態そのものと、その隠れ状態をデコードする際に用いられる読み出し（アンエンベディング行列）の両方を反映している。多くのレンズはコーパス上でフィッティングされる。我々は、フィッティングに用いるコーパスだけが異なる2つのレンズが、同じ隠れ状態に対して異なるトークンを報告し得ることを示す。この依存性を、我々はコーパス条件性（corpus conditionality）と呼ぶ。フィッティングコーパスから独立に読み出し構造を調べるために、Sparse Readout Prism（SRP）を導入する。SRPは、読み出し行列をその重みのみで分解し、任意のトークンロジットまたはロジット差を、スパースな読み出し特徴量による寄与の和として表現する。これにより、読み出し特徴量は、レンズによる読み取りの新たな分析単位となり、トークンの種類が覆い隠し得る構造を明らかにし、トークン、文脈、層、レンズを横断する比較を可能にする。元の読み出し行列をSRPのスパース近似で置き換えると、テストしたロジット差のうち再構成される割合は、読み出し行列の行間の幾何学的関係に基づく6つのベースライン中で最良のものより8.9〜17.3パーセントポイント高くなる。特徴量をアブレーションすると、ロジット差は当該特徴量のSRP寄与に比例して変化する。トークン単位の読み取りはフィッティングコーパスに応じて変動するが、支配的な読み出し特徴量は安定している。SRPはその構築にコーパスを用いないため、フィッティングコーパスとは独立した対照をレンズ解析に提供する。
対話型推薦システム（CRS）は通常、ドメイン固有の対話データを必要とする。しかし、そのようなデータはコストが高く、希少であり、新しいドメインではしばしば利用できない。本研究では、ゼロデータCRSブートストラップの系統的実証研究を行う。これは、ドメイン内の対話コーパスを一切用いずに、アイテムレビュー、メタデータ、ユーザーとアイテムのインタラクションといった非対話的なシグナルから合成対話教師信号を生成するアプローチである。我々は、情報理論的選択戦略であるJensen-Shannonダイバーシティとフィッシャー情報量を、ドメインシグナル、モデルアーキテクチャ、データセット、ファインチューニングパラダイムにわたって比較する。実験結果は、ドメインに基づく合成データがゼロショットプロンプティングや単純な合成ベースラインを一貫して上回ること、能動的選択がランダムサンプリングよりもデータ効率を向上させること、メタデータと協調フィルタリングの各シグナルが選択品質を向上させること、そして低リソース環境では合成データが希少な実対話データを上回り、さらにそうした実対話データを補完することもできることを示している。これらの知見は、非対話的なドメインシグナルが、対話訓練データなしでCRSを構築するための実行可能な経路であることを確立する。コードは https://anonymous.4open.science/r/zero_data_crs/ で公開している。
ルーブリックベースの強化学習は、厳密な解答やルールベースの検証器を備えたタスクを超えてRLを拡張し、インスタンス固有の基準に対して応答をスコアリングするものである。しかしながら、これにより報酬計算コストが高くなる。すなわち、訓練には反復的なルーブリック判定が必要であり、しばしばプロプライエタリなAPIや7Bパラメータ以上のローカル生成型LLM判定器が用いられる。本研究では、より小規模な言語モデルが効率的かつ信頼性の高いルーブリックベースの判定器として機能できるかどうかを調査する。この問いを測定可能にするため、インスタンス固有の基準と項目別充足ラベルを備えた、2つのポイントワイズ型ルーブリックベース評価データセットであるPointRubricとRaR-Science-Staticを構築する。我々は、小規模モデルから基準レベルの判定を抽出する3つの方法、すなわち生成的判定(Generative verdicts)、Yes/Noログ確率マージン、プローブ判定器(Probe judges)を比較する。両データセットにおいて、Qwen3-1.7Bプローブ判定器はこれらの手法の中で最も強い基準レベル一致度を達成し、生成的判定器とログ確率判定器を上回る。GRPO報酬モデルとして使用した場合、RaR-Scienceのルーブリックスコアにおいてポリシーを0.232から0.643へと訓練し、これは8B生成的判定器ベースラインの0.594と比較される一方、ベースラインでは報酬判定時間が10.7倍必要となる。タスクおよびドメイン転移実験はさらに、プローブ判定器が設定をまたいで基準レベルの報酬構造を保持することを示唆している。
ポートフォリオリスク評価は通常、クロスアセットのリターン共分散の信頼できる推定に依存するが、短期かつ高次元のパネルではそれを得ることは困難である。本稿では、企業レベルの分布値特性が、ポートフォリオリスクに関する一方的な証明書を提供できることを示す。特性からシステマティック・エクスポージャーへの関連付け、およびエクスポージャーからリターンへの関連付けが維持されるもとで、複数企業にわたるWasserstein-2分散は、システマティックなポートフォリオ分散に対する鋭い上界と、標準化リターンに対する対応する上界を与える。重み付きペアワイズ緩和は、検証可能な条件のもとで凸となる目的関数を生み出し、限界ボラティリティのスケールのみを必要とし、クロスアセットのリターン共分散は不要である。企業固有のスラックがゼロの場合、共通写像のスケールは認証された分散削減量を変化させるが、正規化された配分は変化させず、これは観測された情報幾何にのみ依存する。2018年から2022年までの52社パネルにおいて、Qwen3-Embedding-8Bのニュース表現から構築された配分は、4つの所定のキャップ付きポートフォリオ母集団において、インサンプル分散のパーセンタイルの0.69番目と1.33番目の間に位置する。一方、等リスク加重は21.1番目と28.6番目の間に位置する。等リスクと比較したインサンプル分散ランキングの低さは、報告された凍結言語モデル表現全体でも一貫して見られる。したがって、本フレームワークは、分布値の企業情報を、クロスアセットのリターン共分散を用いずに構築された、整合的なリスク上界と実行可能な配分ルールへと変換する。
空間リターンモデルは、相互作用行列を所与とし、フィードバックを未解釈のままにしている。我々は、言語モデルが生成した各企業の記事埋め込みの分布から、対象企業をアンカーとするワッサースタイン重心再構成を用いて、バンド幅に依存しない場を構築する。二次のエクスポージャー調整問題は、フィードバックを同業他社との不整合（ピア・ミスアラインメント）に対するペナルティ比へと変換する。52社を対象とすると、2018〜2022年のニュースから固定したこの場は、2023〜2026年のペナルティ比が3.46（95%区間 [2.89, 4.17]）となり、同一距離に基づく等加重ピア・サポートやRBF重み付けよりも高い条件付き準尤度をもたらす。重心場とニュース共言及場を同時に用いた場合のペナルティ比はそれぞれ2.33と0.86であり、境界較正検定は、いずれの場の除外も棄却する。