r/MachineLearning이 주목한 GraphZero, 100M+ 노드 그래프를 위한 zero-copy 엔진

GNN memory wall에 대한 systems 관점의 해법

2026년 3월 15일 r/MachineLearning 게시물은 대형 그래프 dataset을 system RAM 밖에 두도록 설계한 오픈소스 C++ graph engine, GraphZero를 소개했다. 작성자는 이 프로젝트를 Graph Neural Network 작업에서 흔히 마주치는 실패 지점에 대한 대응으로 설명한다. 즉, ogbn-papers100M 같은 dataset의 edge list와 feature matrix를 올리려다가 GPU가 병목이 되기도 전에 메모리 부족으로 멈춰 버리는 문제다. 크롤링 시점 기준 이 글은 184 upvotes와 17 comments를 기록했다.

구현 전략은 매우 systems 중심적이다. GraphZero는 dataset을 Python 메모리로 전부 적재하는 대신 raw CSV를 두 가지 binary format으로 변환한다. graph topology는 .gl, features는 .gd에 저장한다. 이후 Linux에서는 mmap, Windows에서는 file mapping primitive를 사용해 SSD의 파일을 직접 memory-map한다. README에 따르면 이 feature store는 nanobind를 통해 zero-copy NumPy 또는 PyTorch 호환 tensor view를 제공할 수 있어서, training stack이 전체 dataset을 RAM에 먼저 올리지 않고도 큰 배열을 인덱싱할 수 있다.

프로젝트가 내세우는 수치

이 저장소는 공통 graph tooling의 "load-to-RAM" 가정을 깨는 것이 핵심이라고 본다. Reddit 본문에서 작성자는 PyTorch가 50GB tensor가 RAM에 있는 것처럼 동작하되, 실제로는 현재 batch에 필요한 4KB block만 operating system이 page fault를 통해 NVMe에서 읽어 온다고 설명한다. neighbor sampling과 random walk는 OpenMP로 병렬화해, Python에서 멈추기보다 disk I/O, CPU sampling, GPU 작업이 함께 흐르도록 설계했다.

README는 111 million nodes, 1.6 billion edges, 56GB raw data로 설명되는 ogbn-papers100M benchmark를 제시한다. 환경은 16GB RAM과 NVMe SSD를 갖춘 Windows laptop이다. GraphZero는 instant load time, OS cache 기준 약 5.1GB peak RAM usage, 그리고 초당 1,264,000 random-walk steps를 주장한다. 같은 문맥에서 PyTorch Geometric은 24.1GB가 넘는 allocation이 필요해 실패하는 모습으로 비교된다. 또한 압축된 CSR 스타일의 .gl 포맷은 30GB CSV를 13GB binary로 줄일 수 있다고 적고 있다.

왜 이 글이 의미 있는가

흥미로운 점은 새로운 GNN architecture가 아니라 data plumbing이 핵심이라는 데 있다. GraphZero는 storage, paging, sampling, Python binding overhead를 consumer hardware 실험을 가로막는 실제 bottleneck으로 보고 있다. 그래서 이 글은 단순히 한 저장소를 소개하는 수준을 넘어, 모델 바깥의 ML systems 영역에도 아직 큰 최적화 여지가 남아 있음을 보여주는 사례로 읽힌다.

원문: GitHub의 GraphZero. 커뮤니티 논의: r/MachineLearning.