GraphNet: un dataset su larga scala di grafi computazionali per la ricerca sui compilatori di tensori

GraphNet: A Large-Scale Computational Graph Dataset for Tensor Compiler Research

October 28, 2025

Autori: Xinqi Li, Yiqun Liu, Shan Jiang, Enrong Zheng, Huaijin Zheng, Wenhao Dai, Haodong Deng, Dianhai Yu, Yanjun Ma

cs.AI

Abstract

Introduciamo GraphNet, un dataset di 2.7K grafi computazionali di deep learning del mondo reale con metadati ricchi, che abbraccia sei categorie principali di task attraverso molteplici framework di deep learning. Per valutare le prestazioni dei tensor compiler su questi campioni, proponiamo la metrica di benchmark *Speedup Score* S(t), che considera congiuntamente lo speedup del tempo di esecuzione e la correttezza dell'esecuzione sotto livelli di tolleranza regolabili, offrendo una misura affidabile della capacità di ottimizzazione generale. Inoltre, estendiamo S(t) all'*Error-aware Speedup Score* ES(t), che incorpora informazioni sull'errore e aiuta gli sviluppatori di compiler a identificare i principali colli di bottiglia delle prestazioni. In questo report, valutiamo i tensor compiler predefiniti, CINN per PaddlePaddle e TorchInductor per PyTorch, su campioni di computer vision (CV) e natural language processing (NLP) per dimostrare la praticità di GraphNet. La pipeline completa di costruzione con strumenti di estrazione dei grafi e di valutazione del compiler è disponibile all'indirizzo https://github.com/PaddlePaddle/GraphNet.

English

We introduce GraphNet, a dataset of 2.7K real-world deep learning computational graphs with rich metadata, spanning six major task categories across multiple deep learning frameworks. To evaluate tensor compiler performance on these samples, we propose the benchmark metric Speedup Score S(t), which jointly considers runtime speedup and execution correctness under tunable tolerance levels, offering a reliable measure of general optimization capability. Furthermore, we extend S(t) to the Error-aware Speedup Score ES(t), which incorporates error information and helps compiler developers identify key performance bottlenecks. In this report, we benchmark the default tensor compilers, CINN for PaddlePaddle and TorchInductor for PyTorch, on computer vision (CV) and natural language processing (NLP) samples to demonstrate the practicality of GraphNet. The full construction pipeline with graph extraction and compiler evaluation tools is available at https://github.com/PaddlePaddle/GraphNet .