LLM 레딧
GLM-5.1 inference 병목, GPU가 아니라 network topology였던 사례
Zai의 ZCube 사례에서 관심은 새 GPU가 아니라 같은 GPU·같은 software stack으로 throughput 15%와 first-token tail latency 40.6% 개선을 냈다는 점에 모였다.
1분 소요 32 조회
태그
#inference
#inference 태그가 달린 기사
LLM
OpenRouter 25조 토큰/주, AI 라우팅 인프라에 $113M 유입
모델을 하나 고르는 시대보다, 요청마다 비용·속도·성능을 갈아타는 운영층에 돈이 몰리고 있다. OpenRouter는 주간 25조 토큰, 400개 이상 모델, 800만 명 이상 사용자라는 숫자로 $113 million Series B를 끌어냈다.
1분 소요 35 조회
LLM 해커뉴스
Orthrus-Qwen3: 동일 출력 품질 유지하며 추론 속도 7.8배 향상
Orthrus 프레임워크가 Qwen3 모델에서 forward pass당 최대 7.8배 토큰 생성 속도를 달성했다. 단일 KV 캐시로 자동회귀와 확산 뷰를 통합하는 이중 뷰 아키텍처 덕분에 출력 분포는 원본과 동일하다.
1분 소요 40 조회
LLM 레딧
12GB VRAM으로 Qwen3.6 35B 모델 초당 80 토큰 달성
llama.cpp MTP 기능을 활용해 12GB VRAM GPU에서 Qwen3.6 35B A3B 모델을 초당 80토큰 이상, 128K 컨텍스트로 실행하는 설정이 공유됐다.
1분 소요 45 조회
LLM 레딧
Qwen 3.6 27B + MTP로 로컬 추론 속도 2.5배 향상, 48GB에서 262k 컨텍스트
llama.cpp의 새 MTP 지원 PR을 활용해 Qwen 3.6 27B의 추론 속도를 2.5배 높이는 방법이 공유됐다. 48GB 메모리에서 262,000 토큰 컨텍스트로 로컬 에이전틱 코딩이 가능해졌다.
1분 소요 48 조회
LLM 레딧
Google, Gemma 4에 MTP 드래프터 출시 — 추론 속도 최대 3배 향상
Google이 Gemma 4 모델군을 위한 Multi-Token Prediction(MTP) 드래프터를 공개했다. 추측적 디코딩 아키텍처를 통해 출력 품질 저하 없이 추론 속도를 최대 3배 높인다.
1분 소요 47 조회
LLM 레딧
llama.cpp, 멀티토큰 예측(MTP) 베타 진입
llama.cpp에 멀티토큰 예측(MTP) 지원이 베타로 진입했다. 현재 Qwen3.5 MTP를 지원하며, 텐서 병렬 처리와 함께 vLLM과의 성능 격차를 좁힐 것으로 기대된다.
1분 소요 42 조회
LLM 레딧
RTX 3090에서 llama.cpp 대비 10배 빠른 프리필 오픈소스 PFlash 등장
Luce-Org의 PFlash가 128K 컨텍스트에서 vanilla llama.cpp 대비 10배 프리필 속도를 달성했다. C++/CUDA만으로 구현한 추측적 프리필 기법으로, RTX 3090에서 실측 결과를 공개했다.
1분 소요 41 조회
LLM 레딧
NVIDIA DGX Spark 16대 클러스터 구축기 — 통합 메모리로 대형 LLM 서빙
LocalLLaMA 유저가 NVIDIA DGX Spark 16대를 200Gbps 패브릭으로 연결한 클러스터 구축을 완료했다. 통합 메모리 극대화를 목표로 DeepSeek, Kimi 등 대형 모델 서빙을 테스트 중이다.
1분 소요 45 조회
LLM X/Twitter
Qwen FlashQLA 공개… 선형 attention 커널 전방 2~3배·역전파 2배 가속
중요한 점은 장문맥과 edge-side agent가 말만 그럴듯한지, 실제로 돌릴 만한지의 갈림길이 결국 커널 최적화에 있다는 데 있다. Qwen는 FlashQLA가 NVIDIA Hopper에서 FLA Triton 대비 전방 2~3배, 역전파 2배 속도를 냈다고 적었다.
1분 소요 41 조회
LLM 레딧
LocalLLaMA가 FlashQLA에 반응한 이유, 밈보다 숫자
최상단 댓글은 CP 밈으로 바로 달려갔지만, 글이 오래 붙은 이유는 따로 있었다. GDN chunked prefill에서 forward 2~3배, backward 2배라는 구체적 수치가 long-context와 엣지 추론 얘기로 곧장 이어졌기 때문이다.
2분 소요 37 조회
LLM 레딧
Qwen3.6 토큰 낭비 확 줄인 GBNF 트릭, LocalLLaMA가 들썩인 이유
LocalLLaMA가 바로 반응한 이유는 체감 포인트가 분명해서다. 작은 GBNF 제약만으로 Qwen3.6의 reasoning drag를 줄이고, 긴 작업의 토큰 낭비와 시간을 같이 깎았다는 주장이 나왔다.
2분 소요 43 조회