NNsight와 NDIF: 파운데이션 모델 내부에 대한 민주적 접근

NNsight and NDIF: Democratizing Access to Foundation Model Internals

July 18, 2024

저자: Jaden Fiotto-Kaufman, Alexander R Loftus, Eric Todd, Jannik Brinkmann, Caden Juang, Koyena Pal, Can Rager, Aaron Mueller, Samuel Marks, Arnab Sen Sharma, Francesca Lucchetti, Michael Ripa, Adam Belfki, Nikhil Prakash, Sumeet Multani, Carla Brodley, Arjun Guha, Jonathan Bell, Byron Wallace, David Bau

cs.AI

초록

최신 파운데이션 모델의 방대한 규모는 과학자들의 접근성을 제한해 왔는데, 이는 대규모 모델 크기에서의 맞춤형 실험이 비용이 많이 드는 하드웨어와 복잡한 엔지니어링을 요구하기 때문에 대부분의 연구자들에게 비현실적이기 때문입니다. 이러한 문제를 완화하기 위해, 우리는 NNsight를 소개합니다. NNsight는 PyTorch 모델에 대한 어떠한 개입도 계산 그래프를 구축하여 표현할 수 있는 간단하고 유연한 API를 제공하는 오픈소스 Python 패키지입니다. 또한, 우리는 NNsight API를 통해 연구자들이 파운데이션 규모의 LLM에 접근할 수 있도록 지원하는 협업 연구 플랫폼인 NDIF를 소개합니다. 코드, 문서, 튜토리얼은 https://www.nnsight.net에서 확인할 수 있습니다.

English

The enormous scale of state-of-the-art foundation models has limited their accessibility to scientists, because customized experiments at large model sizes require costly hardware and complex engineering that is impractical for most researchers. To alleviate these problems, we introduce NNsight, an open-source Python package with a simple, flexible API that can express interventions on any PyTorch model by building computation graphs. We also introduce NDIF, a collaborative research platform providing researchers access to foundation-scale LLMs via the NNsight API. Code, documentation, and tutorials are available at https://www.nnsight.net.