日刊論文

マルチモーダル大規模言語モデル（MLLMs）は、様々なアプリケーションにおいて大きな可能性を示しており、研究者や実務家の幅広い関心を集めています。しかし、その長文脈能力に関する包括的な評価は未だ十分に検討されていません。このギャップを埋めるため、我々はMLLMsの長文脈能力を評価するために特別に設計されたマルチモーダル針-in-a-干し草（MMNeedle）ベンチマークを導入します。複数画像の入力に加えて、画像のステッチングを用いて入力文脈の長さをさらに増やし、サブ画像レベルの検索のためのラベルを自動生成するプロトコルを開発しました。本質的に、MMNeedleは、テキスト指示と画像内容の説明に基づいて、一連の画像（干し草）の中からターゲットのサブ画像（針）を見つけ出す能力をストレステストすることでMLLMsを評価します。この設定は、広範な視覚的文脈の高度な理解と、長文脈画像入力内での効果的な情報検索を必要とします。このベンチマークを用いて、APIベースおよびオープンソースモデルを含む最先端のMLLMsを評価しました。その結果、GPT-4oが長文脈シナリオにおいて他のモデルを一貫して上回るものの、針が干し草の中にないネガティブサンプルにおいて幻覚問題に悩まされることが明らかになりました。我々のMLLMsの包括的な長文脈評価は、APIベースモデルとオープンソースモデルの間の大きな性能差にも光を当てています。主要な結果を再現するために必要なすべてのコード、データ、および手順は、https://github.com/Wang-ML-Lab/multimodal-needle-in-a-haystack で公開されています。

近年、コード処理と自然言語処理の分野は急速に進化しています。特に、モデルの長いコンテキストウィンドウを処理する能力が向上しており、ここ数年でサポートされるコンテキストサイズは桁違いに拡大しています。しかし、単一ファイルを超えるコンテキストを必要とするコード処理のベンチマークは不足しており、最も一般的なものは単一メソッドに限定されています。本研究では、このギャップを埋めるため、プロジェクト全体のコンテキストを必要とするコード処理タスクのための6つのベンチマークスイート「Long Code Arena」を導入します。これらのタスクは、ライブラリベースのコード生成、CIビルドの修復、プロジェクトレベルのコード補完、コミットメッセージ生成、バグの局所化、モジュール要約など、コード処理のさまざまな側面をカバーしています。各タスクに対して、手動で検証されたテスト用データセット、評価スイート、および人気の大規模言語モデル（LLM）に基づいたオープンソースのベースラインソリューションを提供し、データセットの使用例を示すとともに、他の研究者による採用を容易にします。ベンチマークページはHuggingFace Spacesに公開されており、リーダーボード、すべてのデータセットへのHuggingFace Hubのリンク、およびベースラインを含むGitHubリポジトリへのリンクが掲載されています：https://huggingface.co/spaces/JetBrains-Research/long-code-arena。

ビジョントランスフォーマー（ViTs）は、特に大規模言語モデルと共同で訓練可能であり、堅牢なビジョン基盤モデルとして機能する能力から、重要な研究領域として注目を集めています。しかし、ViTsの信頼性のある説明手法の開発は遅れており、特にViTの予測に対する事後解釈の文脈において顕著です。既存のサブ画像選択アプローチ、例えば特徴帰属モデルや概念モデルは、この点において不十分です。本論文では、ViTsを説明するための5つの望ましい特性――忠実性、安定性、疎性、多階層構造、簡潔性――を提案し、現在の手法がこれらの基準を包括的に満たすことができないことを示します。我々は、パッチ埋め込みの分布をモデル化し、信頼性のある事後概念説明を提供する変分ベイズ説明フレームワーク、ProbAbilistic Concept Explainers（PACE）を導入します。我々の定性的分析は、パッチレベルの概念の分布を明らかにし、パッチ埋め込みとViTの予測の同時分布をモデル化することでViTsの有効性を解明します。さらに、これらのパッチレベルの説明は、画像レベルとデータセットレベルの説明の間のギャップを埋め、PACEの多階層構造を完成させます。合成データセットと実世界のデータセットを用いた広範な実験を通じて、PACEが定義された望ましい特性において最先端の手法を凌駕することを示します。

本論文では、Self-MoEというアプローチを提案します。これは、単一の大規模言語モデル（LLM）を、自己専門化された専門家群（MiXSE：MiXture of Self-specialized Experts）からなるモジュール型の構成システムへと変換する手法です。本アプローチでは、自己専門化を活用し、自己生成した合成データを用いて専門家モジュールを構築します。各モジュールは共有の基盤LLMを備え、自己最適化されたルーティングを組み込んでいます。これにより、多様なタスクに対して動的かつ能力に応じた処理が可能となり、人間によるラベル付けデータや追加パラメータを必要とせずに、全体的な能力を向上させます。実証結果からは、LLMの専門化が非専門タスクにおける性能にトレードオフをもたらす可能性が示されています。一方で、Self-MoEは、知識、推論、数学、コーディングなど多岐にわたるベンチマークにおいて、基盤LLMを大幅に上回る改善を示しました。また、インスタンスマージや重みマージなどの他の手法を一貫して凌駕し、セマンティックな専門家とルーティングを設計に取り入れることで、柔軟性と解釈可能性も向上させています。本研究の成果は、効率的でスケーラブルかつ適応性の高いシステムを実現する上で、モジュール性と自己改善の可能性が重要な役割を果たすことを強調しています。

BERTやGPTのような事前学習済み言語モデル（PLM）の統合は、特に英語においてNLPに革命をもたらしましたが、同時に言語的な不均衡も生み出しました。本論文は、多言語コンテキストにおけるいくつかの知識編集技術を検証することで、言語的公平性の必要性を戦略的に特定します。私たちは、Mistral、TowerInstruct、OpenHathi、Tamil-Llama、Kan-Llamaなどのモデルを、英語、ドイツ語、フランス語、イタリア語、スペイン語、ヒンディー語、タミル語、カンナダ語を含む複数の言語で評価します。本研究では、通常モデルと統合モデルにおけるクロスリンガル一貫性に関して重大な不一致を特定しました。これらのモデルをストレステストするために、「各言語は自身のために」（ELFI）と「各言語は他者のために」（ELFO）といった戦略を採用しています。私たちの研究結果は、LLMが言語的障壁を克服する可能性を示しており、AI技術における言語的包括性を実現するための将来の研究の基盤を築いています。

自己教師あり音声（SSL）モデルは、近年多くの下流音声処理タスクで広く採用されるようになりました。一般的な使用パターンは、SSLモデルを特徴抽出器として利用し、特定のタスクを解決するために下流の予測ヘッドを訓練するというものです。しかし、SSLモデルの異なる層が異なる種類の情報を捕捉することが示されており、それらを組み合わせる方法は十分に研究されていません。この問題に対処するため、我々は上流と下流を接続するインターフェースを提案することで、SSLモデル利用の一般的なフレームワークを拡張します。この観点から、層ごとの重み付き和を通じて特徴を組み合わせる主流の技術は、特定のインターフェースと見なすことができます。我々はいくつかの代替インターフェース設計を提案し、重み付き和インターフェースが多くのタスクにおいて最適でないことを示します。特に、上流モデルの深さに対数スケールで深さが変化する畳み込みインターフェースが、他の多くのインターフェース設計を一貫して上回ることを実証します。

人間のフィードバックを用いた強化学習（RLHF）は、大規模モデルをユーザーの好みに合わせるための主要な手法となっています。ファインチューニングに関しては、トレーニングデータの記憶化に関する多くの研究がありますが、RLHFのアライメントプロセスにおいて記憶化がどのように影響を受け、または導入されるかは明らかではありません。この関係を理解することは重要です。なぜなら、実際のユーザーデータが収集され、大規模モデルのアライメントに使用される可能性があるからです。もしRLHF中にユーザーデータが記憶化され、後で再生される場合、これはプライバシーの懸念を引き起こす可能性があります。本研究では、トレーニングデータの記憶化がRLHFの各段階を通じてどのように表面化し、伝播するかを分析します。私たちはコード補完モデルに焦点を当てます。なぜなら、コード補完は大規模言語モデルの最も一般的なユースケースの一つだからです。私たちは、RLHFが報酬モデリングと強化学習に使用されるデータの記憶化の可能性を、このデータに対して直接ファインチューニングを行う場合と比較して大幅に減少させることを発見しました。しかし、RLHFのファインチューニング段階ですでに記憶化された例は、大多数の場合、RLHF後も記憶化されたままであることも確認しました。

大規模言語モデル（LLM）における特定の概念の「アンラーニング」タスクは、有害な、プライベートな、または誤った情報の生成といった望ましくないモデルの挙動を緩和する重要性から、最近大きな注目を集めています。現在のアンラーニング手法の評価プロトコルは、主に行動テストに依存しており、モデルのパラメータ内に残存するアンラーニングされた知識の存在を監視していません。この残存知識は、アンラーニング後に消去された情報を回復するために敵対的に利用される可能性があります。私たちは、アンラーニングされた概念のパラメトリックな知識の痕跡の変化を考慮することで、アンラーニングを内部的にも評価すべきであると主張します。この目的のために、具体的な概念をエンコードするパラメータ空間内の方向（「概念ベクトル」と呼ぶ）を引き出すための一般的な方法論を提案し、2つのオープンソースLLM内に含まれる数百の一般的な概念とそのパラメトリックな知識の痕跡を含むベンチマークデータセット「ConceptVectors」を構築しました。ConceptVectorsでの評価により、既存のアンラーニング手法が概念ベクトルにほとんど影響を与えない一方で、これらのベクトルを直接除去することで、関連する知識がLLMから確実に削除され、敵対的操作に対する感受性が大幅に低減されることが示されました。私たちの結果は、行動ベースのアンラーニング評価の限界を浮き彫りにし、将来的な研究においてパラメータベースの評価を含めることを呼びかけます。これを支援するため、私たちはコードとベンチマークをhttps://github.com/yihuaihong/ConceptVectorsで公開しています。