#inference

llama.cpp에 멀티토큰 예측(MTP) 지원이 베타로 진입했다. 현재 Qwen3.5 MTP를 지원하며, 텐서 병렬 처리와 함께 vLLM과의 성능 격차를 좁힐 것으로 기대된다.

Luce-Org의 PFlash가 128K 컨텍스트에서 vanilla llama.cpp 대비 10배 프리필 속도를 달성했다. C++/CUDA만으로 구현한 추측적 프리필 기법으로, RTX 3090에서 실측 결과를 공개했다.

LocalLLaMA 유저가 NVIDIA DGX Spark 16대를 200Gbps 패브릭으로 연결한 클러스터 구축을 완료했다. 통합 메모리 극대화를 목표로 DeepSeek, Kimi 등 대형 모델 서빙을 테스트 중이다.

중요한 점은 장문맥과 edge-side agent가 말만 그럴듯한지, 실제로 돌릴 만한지의 갈림길이 결국 커널 최적화에 있다는 데 있다. Qwen는 FlashQLA가 NVIDIA Hopper에서 FLA Triton 대비 전방 2~3배, 역전파 2배 속도를 냈다고 적었다.

최상단 댓글은 CP 밈으로 바로 달려갔지만, 글이 오래 붙은 이유는 따로 있었다. GDN chunked prefill에서 forward 2~3배, backward 2배라는 구체적 수치가 long-context와 엣지 추론 얘기로 곧장 이어졌기 때문이다.

LocalLLaMA가 바로 반응한 이유는 체감 포인트가 분명해서다. 작은 GBNF 제약만으로 Qwen3.6의 reasoning drag를 줄이고, 긴 작업의 토큰 낭비와 시간을 같이 깎았다는 주장이 나왔다.

중요한 점은 FP8 추론이 품질 붕괴를 고칠 수 있어야만 값어치를 가진다는 데 있다. vLLM는 two-level accumulation 변경으로 128k needle-in-a-haystack 정확도를 13%에서 89%까지 끌어올리면서 FP8 decode 속도 이점은 유지했다고 적었다.

Hacker News가 꽂힌 지점은 여행 감성이 아니었다. 배터리가 분당 1% 가까이 줄고, 노트북이 무릎 위에서 버거워질 만큼 뜨거워지며, 긴 문맥과 에이전트 루프가 금방 한계를 드러낸다는 현실 쪽이었다.

LocalLLaMA는 이 글을 또 하나의 벤치마크 이미지로 넘기지 않았다. 단일 RTX 3090에서 Qwen3.6-27B 처리량을 평균 1.98배까지 끌어올렸고, 재학습 없이 긴 컨텍스트까지 버틴다는 점이 스레드의 열기를 만들었다.

LocalLLaMA가 Hipfire에 몰린 이유는 새 repo 하나가 아니라 RDNA 사용자들이 오래 기다린 “우리 쪽 최적화”에 가까웠기 때문이다. 댓글도 곧바로 실제 카드에서 나온 속도 수치와 호환성 질문으로 채워졌다.

중요한 점은 model launch의 성패가 가중치보다 serving과 training 지원에서 갈린다는 데 있다. LMSYS는 Day-0 stack이 B200에서 199 tok/s, H200에서 266 tok/s를 기록했고 900K context에서도 흐름이 유지된다고 적었다.

HN은 TPU 8t·8i를 단순한 초대형 숫자 경쟁보다, 에이전트 시대에 학습용과 추론용 실리콘이 갈라지기 시작한 신호로 읽었다. 댓글도 전력 효율, 메모리 병목, 지연 시간 같은 운영 포인트에 더 오래 머물렀다.