NVIDIA, 통신사와 AI grid 구축으로 분산 inference 상용화 겨냥

무슨 일이 있었나

NVIDIA는 2026년 3월 17일 GTC 2026에서 통신 사업자들과 함께 AI grid 구축 움직임을 공개했다. AI grid는 네트워크 사업자의 분산 거점과 연결성을 활용해 AI inference를 edge 가까이 배치하는 geographically distributed, interconnected AI infrastructure라는 설명이다.

NVIDIA는 전 세계 통신사와 distributed cloud provider가 약 100,000개의 분산 네트워크 data center를 운영하고 있으며, 장기적으로 100 gigawatts가 넘는 신규 AI capacity를 제공할 여지가 있다고 주장했다. 회사는 이 인프라를 AI traffic만 운반하는 수동적 네트워크가 아니라, inference를 직접 실행하고 monetization하는 실행 계층으로 바꾸려 한다.

누가 참여하나

발표에는 AT&T, Comcast, Spectrum, Akamai, Indosat Ooredoo Hutchison, T-Mobile 등 여러 사업자가 등장했다. 예를 들어 Spectrum은 1,000개가 넘는 edge data center와 수백 megawatts의 capacity를 기반으로, 500 million devices에서 10 milliseconds 이내 지점에 AI grid를 둘 수 있다고 설명했다. Akamai는 4,400개가 넘는 edge location에 걸쳐 thousands of NVIDIA RTX PRO 6000 Blackwell Server Edition GPU를 배치하는 방향을 제시했고, Indosat은 Indonesia 내 sovereign AI 서비스를 위한 grid를 강조했다.

서비스 사례도 구체적이다. Personal AI는 network edge에서 small language model을 돌려 end-to-end latency를 sub-500 milliseconds로 낮추고 cost-per-token을 50% 이상 줄였다고 밝혔다. Linker Vision은 실시간 vision AI로 traffic accident detection을 최대 10x, disaster response를 15x 빠르게 만들었다고 설명했고, Decart는 sub-12-millisecond network latency로 interactive video generation을 지원한다고 했다.

왜 중요한가

이 발표는 inference가 중앙 hyperscale data center에서만 이뤄지는 단계에서 벗어나고 있음을 보여준다. latency와 cost, data locality가 중요한 agent, robotics, video, smart city workload에서는 network edge가 직접 compute layer가 될 가능성이 커지고 있다. 통신사 입장에서는 새로운 AI revenue를 만들 수 있고, AI 사업자 입장에서는 사용자와 더 가까운 위치에서 서비스를 운영하는 새로운 배포 지형이 열리는 셈이다.