AI
CUDA 커널도 Rust로 직접 작성…NVIDIA, 메모리 안전성 갖춘 오픈소스 경로 2종 공개
Rust 코드가 래퍼를 거치지 않고 GPU용 PTX로 직접 향하는 두 경로가 열렸다. NVIDIA의 cuda-oxide와 cutile-rs는 각각 SIMT 제어와 타일 추상화를 택해, AI 인프라의 Rust 전환에서 마지막으로 남았던 커널 경계를 겨냥한다.
2분 소요 3 조회
Insights
기사
기사 13개
AI 해커뉴스
Codex가 QR kernel을 232배 끌어올린 14일, 성능보다 중요한 verifier
14일 동안 1,500회 넘게 제출해 QR kernel을 baseline 대비 232배 빠르게 만든 기록이 관심을 모았다. 숫자를 가능하게 한 것은 한 번의 영리한 prompt가 아니라, 정답을 판정하는 verifier와 profiler, 실패 기록이 연결된 촘촘한 실험 루프였다.
2분 소요 13 조회
LLM 해커뉴스
Tiny-vLLM, C++와 CUDA로 LLM inference를 끝까지 따라가는 교재형 엔진
관심은 성능 자랑보다 README의 학습 설계에 모였다. vLLM의 핵심을 작은 코드와 수업 흐름으로 재구성한 점이 반응을 얻었다.
1분 소요 35 조회
LLM 레딧
AI 생성 CUDA kernel, benchmark 통과 뒤 training을 망가뜨린 bf16 함정
속도만 빠른 kernel은 연구 결과까지 오염시킬 수 있다는 사례가 올라왔다. 관심은 “verifier 통과”가 실제 training 안전성을 보장하지 못한다는 점에 모였다.
1분 소요 32 조회
AI X/Twitter
Cursor agent, NVIDIA Blackwell CUDA kernel을 3주 만에 38% 가속
coding agent가 단순 PR 보조를 넘어 GPU kernel 최적화까지 들어갔다. Cursor는 NVIDIA와의 실험에서 235개 CUDA 문제를 3주간 풀어 38% geomean speedup을 냈다고 밝혔다.
1분 소요 47 조회
AI 해커뉴스
Hacker News가 끌어올린 AMD ROCm 전략: CUDA moat를 넘기 위한 'one step after another'
Hacker News front page에 오른 EE Times 인터뷰는 AMD가 ROCm, Triton, OneROCm, open-source 전략으로 CUDA 의존도를 단계적으로 낮추려는 접근을 정리한다. 핵심은 화려한 호환성 선언보다 vLLM과 SGLang이 자연스럽게 돌아가는 boring한 software 완성도다.
2분 소요 44 조회
AI 레딧
Reddit가 지적한 RTX 5090 배치 FP32 workload의 cuBLAS 성능 이상
MachineLearning 커뮤니티의 한 글은 RTX 5090에서 cuBLAS가 batched FP32 MatMul에 비효율적인 kernel을 고르고 있을 가능성을 제기한다. 핵심은 단순한 체감 저하가 아니라, reproducible benchmark와 profiling data를 갖춘 dispatch 문제 제기라는 점이다.
2분 소요 49 조회
AI 레딧
RTX 5090의 cuBLAS FP32 dispatch 경로에 성능 문제가 있다는 주장
r/MachineLearning의 글과 연결된 benchmark writeup은 RTX 5090의 batched FP32 SGEMM이 비효율적인 cuBLAS 경로를 타며 GPU 계산 자원을 크게 남기고 있다고 주장한다.
2분 소요 42 조회
LLM 레딧
r/LocalLLaMA, ik_llama.cpp로 Qwen 3.5 prompt ingestion 26배 가속 보고
r/LocalLLaMA의 고신호 benchmark 글은 Qwen 3.5 27B를 mainline llama.cpp에서 ik_llama.cpp로 바꾸자 Blackwell RTX PRO 4000에서 prompt evaluation이 약 43 tok/sec에서 1,122 tok/sec로 뛰었고, generation도 7.5 tok/sec에서 26 tok/sec로 올라갔다고 전했다.
2분 소요 49 조회
AI X/Twitter
NVIDIA, GPU kernel 최적화를 hardware 한계 기준으로 재는 SOL-ExecBench 공개
NVIDIA는 2026년 3월 20일 실제 GPU kernel workload를 대상으로 CUDA·PyTorch 최적화 코드를 NVIDIA B200 기반 Speed-of-Light 한계와 비교하는 SOL-ExecBench를 발표했다. 이번 공개에는 124개 AI 모델에서 추출한 235개 kernel optimization 문제가 BF16, FP8, NVFP4 workload와 함께 포함됐다.
2분 소요 46 조회
LLM 레딧
LocalLLaMA가 끌어올린 GreenBoost, NVIDIA GPU memory를 RAM과 NVMe로 확장하는 Linux driver
LocalLLaMA에서 확산된 GreenBoost는 limited vRAM 문제를 우회하려는 experimental Linux kernel module이다. 2026년 3월 14일 Phoronix 보도에 따르면 이 GPLv2 프로젝트는 kernel module과 CUDA shim을 결합해, 큰 allocation을 on-card vRAM 밖의 pinned system RAM과 NVMe tier로 넘기면서도 CUDA application 수정 없이 더 큰 LLM workload를 돌리는 것을 목표로 한다.
2분 소요 48 조회
LLM 레딧
CUDA Agent 논문, Agentic RL 기반 KernelBench 성능 향상 주장으로 주목
r/singularity에서 ByteDance Seed와 Tsinghua AIR의 CUDA Agent가 공유됐다. 프로젝트는 torch.compile 대비 높은 pass rate와 speedup을 제시하며 GPU kernel 최적화 자동화를 강조했다.
2분 소요 40 조회