LLM X/Twitter
vLLM, FP8 장문맥 정확도 13%→89% 복구… KV-cache 실전 투입 벽 낮춘다
중요한 점은 FP8 추론이 품질 붕괴를 고칠 수 있어야만 값어치를 가진다는 데 있다. vLLM는 two-level accumulation 변경으로 128k needle-in-a-haystack 정확도를 13%에서 89%까지 끌어올리면서 FP8 decode 속도 이점은 유지했다고 적었다.
2분 소요 40 조회
태그
#inference
#inference 태그가 달린 기사
LLM 해커뉴스
10시간 비행기 오프라인 LLM 실험, HN이 본 건 전력·발열·루프의 현실
Hacker News가 꽂힌 지점은 여행 감성이 아니었다. 배터리가 분당 1% 가까이 줄고, 노트북이 무릎 위에서 버거워질 만큼 뜨거워지며, 긴 문맥과 에이전트 루프가 금방 한계를 드러낸다는 현실 쪽이었다.
2분 소요 44 조회
LLM 레딧
RTX 3090에서 거의 2배, LocalLLaMA가 Luce DFlash에 몰린 이유
LocalLLaMA는 이 글을 또 하나의 벤치마크 이미지로 넘기지 않았다. 단일 RTX 3090에서 Qwen3.6-27B 처리량을 평균 1.98배까지 끌어올렸고, 재학습 없이 긴 컨텍스트까지 버틴다는 점이 스레드의 열기를 만들었다.
2분 소요 44 조회
LLM 레딧
AMD용 추론 엔진 Hipfire, LocalLLaMA가 반긴 이유
LocalLLaMA가 Hipfire에 몰린 이유는 새 repo 하나가 아니라 RDNA 사용자들이 오래 기다린 “우리 쪽 최적화”에 가까웠기 때문이다. 댓글도 곧바로 실제 카드에서 나온 속도 수치와 호환성 질문으로 채워졌다.
2분 소요 44 조회
AI X/Twitter
LMSYS, DeepSeek-V4 Day-0 지원에서 H200 266 tok/s 성능을 제시
중요한 점은 model launch의 성패가 가중치보다 serving과 training 지원에서 갈린다는 데 있다. LMSYS는 Day-0 stack이 B200에서 199 tok/s, H200에서 266 tok/s를 기록했고 900K context에서도 흐름이 유지된다고 적었다.
2분 소요 37 조회
AI 해커뉴스
학습용과 추론용을 갈랐다, TPU 8t·8i에 HN이 주목한 지점
HN은 TPU 8t·8i를 단순한 초대형 숫자 경쟁보다, 에이전트 시대에 학습용과 추론용 실리콘이 갈라지기 시작한 신호로 읽었다. 댓글도 전력 효율, 메모리 병목, 지연 시간 같은 운영 포인트에 더 오래 머물렀다.
1분 소요 48 조회
LLM X/Twitter
Cohere W4A8, vLLM Hopper에서 first-token latency 58% 단축 주장
중요한 점은 inference cost가 이제 infrastructure 문제가 아니라 product constraint가 됐다는 데 있다. Cohere는 vLLM의 W4A8 path가 Hopper에서 W4A16 대비 TTFT 최대 58%, TPOT 최대 45% 빠르다고 밝혔다.
1분 소요 45 조회
AI 해커뉴스
Wasm에서 GPU로 zero-copy inference, HN은 “어디서 빨라지나”를 물었다
HN이 이 post를 흥미롭게 본 이유는 Apple Silicon unified memory가 Wasm sandbox와 GPU buffer 사이의 copy boundary를 실제로 줄일 수 있느냐는 구현 질문이었다.
2분 소요 44 조회
LLM 레딧
llama.cpp speculative checkpointing, LocalLLaMA는 parameter 찾기에 뛰어들었다
LocalLLaMA가 이 merge에 반응한 이유는 바로 써볼 수 있기 때문이었다. 다만 thread의 핵심은 속도 향상이 prompt 반복성과 draft acceptance에 크게 좌우된다는 caveat였다.
1분 소요 45 조회
LLM 해커뉴스
Cloudflare AI Platform에 HN이 물은 것: agent inference의 배관인가, 또 다른 router인가
HN의 관심은 “Cloudflare가 AI를 한다”가 아니라, 14개 이상 provider를 묶는 inference layer가 agent 개발자의 실제 배관 문제를 줄여주느냐였다. Cloudflare 글은 AI Gateway, Workers AI binding, multimodal model catalog를 한 흐름으로 묶었고, 댓글은 OpenRouter와의 차이, pricing 신뢰도, model catalog의 일관성을 따졌다.
1분 소요 47 조회
LLM
Cloudflare, Kimi K2.5 token latency를 20-30 ms까지 낮췄다
Cloudflare가 Workers AI에서 Kimi K2.5를 3x faster로 만들었다고 밝혔다. p90 time per token은 약 100 ms에서 20-30 ms로 내려갔고, prompt cache hit ratio는 peak 기준 60%에서 80%로 올랐다.
2분 소요 47 조회
LLM 레딧
모델들이 갑자기 둔해졌나? LocalLLaMA는 'silent downgrade' 감각을 검증 문제로 바꿨다
LocalLLaMA의 열기는 “모델이 멍청해졌다”는 불평에서 끝나지 않고, provider routing과 quantization, peak-time behavior를 어떻게 측정할지로 번졌다. thread는 확정 증거보다 community가 느끼는 품질 불안의 크기를 보여준다.
1분 소요 45 조회