GraphNet: Een grootschalige dataset van computationele grafen voor onderzoek naar tensorcompilers

GraphNet: A Large-Scale Computational Graph Dataset for Tensor Compiler Research

October 28, 2025

Auteurs: Xinqi Li, Yiqun Liu, Shan Jiang, Enrong Zheng, Huaijin Zheng, Wenhao Dai, Haodong Deng, Dianhai Yu, Yanjun Ma

cs.AI

Samenvatting

Wij introduceren GraphNet, een dataset van 2,7K computationele grafen uit de praktijk voor deep learning met uitgebreide metadata, die zes grote taakcategorieën omspant over meerdere deep learning-frameworks. Om de prestaties van tensorcompilers op deze samples te evalueren, stellen we de benchmarkmetriek Speedup Score S(t) voor, die gezamenlijk runtime-versnelling en uitvoercorrectheid onder instelbare tolerantieniveaus in beschouwing neemt, en zo een betrouwbare maatstaf biedt voor algemene optimalisatiecapaciteit. Verder breiden we S(t) uit naar de Error-aware Speedup Score ES(t), die foutinformatie incorporeert en compilerontwikkelaars helpt cruciale prestatieknelpunten te identificeren. In dit rapport benchmarken we de standaard tensorcompilers, CINN voor PaddlePaddle en TorchInductor voor PyTorch, op computer vision (CV) en natural language processing (NLP) samples om de praktische bruikbaarheid van GraphNet aan te tonen. De volledige constructiepijplijn met graafextractie- en compilerevaluatietools is beschikbaar op https://github.com/PaddlePaddle/GraphNet.

English

We introduce GraphNet, a dataset of 2.7K real-world deep learning computational graphs with rich metadata, spanning six major task categories across multiple deep learning frameworks. To evaluate tensor compiler performance on these samples, we propose the benchmark metric Speedup Score S(t), which jointly considers runtime speedup and execution correctness under tunable tolerance levels, offering a reliable measure of general optimization capability. Furthermore, we extend S(t) to the Error-aware Speedup Score ES(t), which incorporates error information and helps compiler developers identify key performance bottlenecks. In this report, we benchmark the default tensor compilers, CINN for PaddlePaddle and TorchInductor for PyTorch, on computer vision (CV) and natural language processing (NLP) samples to demonstrate the practicality of GraphNet. The full construction pipeline with graph extraction and compiler evaluation tools is available at https://github.com/PaddlePaddle/GraphNet .