NNsightとNDIF: 基盤モデルの内部への民主的なアクセスの実現

NNsight and NDIF: Democratizing Access to Foundation Model Internals

July 18, 2024

著者: Jaden Fiotto-Kaufman, Alexander R Loftus, Eric Todd, Jannik Brinkmann, Caden Juang, Koyena Pal, Can Rager, Aaron Mueller, Samuel Marks, Arnab Sen Sharma, Francesca Lucchetti, Michael Ripa, Adam Belfki, Nikhil Prakash, Sumeet Multani, Carla Brodley, Arjun Guha, Jonathan Bell, Byron Wallace, David Bau

cs.AI

要旨

最先端の基盤モデルの膨大な規模は、科学者にとってそのアクセシビリティを制限してきました。なぜなら、大規模なモデルサイズでのカスタマイズされた実験には、ほとんどの研究者にとって非現実的なコストのかかるハードウェアと複雑なエンジニアリングが必要だからです。これらの問題を緩和するため、我々はNNsightを紹介します。これは、計算グラフを構築することで任意のPyTorchモデルに対する介入を表現できる、シンプルで柔軟なAPIを備えたオープンソースのPythonパッケージです。また、NNsight APIを介して基盤規模のLLMにアクセスできる共同研究プラットフォームであるNDIFも紹介します。コード、ドキュメント、チュートリアルはhttps://www.nnsight.netで利用可能です。

English

The enormous scale of state-of-the-art foundation models has limited their accessibility to scientists, because customized experiments at large model sizes require costly hardware and complex engineering that is impractical for most researchers. To alleviate these problems, we introduce NNsight, an open-source Python package with a simple, flexible API that can express interventions on any PyTorch model by building computation graphs. We also introduce NDIF, a collaborative research platform providing researchers access to foundation-scale LLMs via the NNsight API. Code, documentation, and tutorials are available at https://www.nnsight.net.