LLM X/Twitter Apr 23, 2026 1 min read
중요한 점은 inference cost가 이제 infrastructure 문제가 아니라 product constraint가 됐다는 데 있다. Cohere는 vLLM의 W4A8 path가 Hopper에서 W4A16 대비 TTFT 최대 58%, TPOT 최대 45% 빠르다고 밝혔다.
#inference
RSS 피드AI Hacker News Apr 20, 2026 1 min read
HN이 이 post를 흥미롭게 본 이유는 Apple Silicon unified memory가 Wasm sandbox와 GPU buffer 사이의 copy boundary를 실제로 줄일 수 있느냐는 구현 질문이었다.
LLM Reddit Apr 20, 2026 1 min read
LocalLLaMA가 이 merge에 반응한 이유는 바로 써볼 수 있기 때문이었다. 다만 thread의 핵심은 속도 향상이 prompt 반복성과 draft acceptance에 크게 좌우된다는 caveat였다.
LLM Hacker News Apr 17, 2026 1 min read
HN의 관심은 “Cloudflare가 AI를 한다”가 아니라, 14개 이상 provider를 묶는 inference layer가 agent 개발자의 실제 배관 문제를 줄여주느냐였다. Cloudflare 글은 AI Gateway, Workers AI binding, multimodal model catalog를 한 흐름으로 묶었고, 댓글은 OpenRouter와의 차이, pricing 신뢰도, model catalog의 일관성을 따졌다.
LLM Apr 17, 2026 1 min read
Cloudflare가 Workers AI에서 Kimi K2.5를 3x faster로 만들었다고 밝혔다. p90 time per token은 약 100 ms에서 20-30 ms로 내려갔고, prompt cache hit ratio는 peak 기준 60%에서 80%로 올랐다.
LLM Reddit Apr 17, 2026 1 min read
LocalLLaMA의 열기는 “모델이 멍청해졌다”는 불평에서 끝나지 않고, provider routing과 quantization, peak-time behavior를 어떻게 측정할지로 번졌다. thread는 확정 증거보다 community가 느끼는 품질 불안의 크기를 보여준다.
LLM Apr 16, 2026 1 min read
Cloudflare가 AI Gateway를 agent용 통합 inference layer로 확장해 Workers AI에서 70+ models와 12+ providers를 같은 API로 호출하게 했다. 핵심은 catalog 숫자보다, 한 작업에 inference call이 10번씩 이어지는 agent workflow에서 비용·retry·failover를 한곳에 모으는 데 있다.
LLM Reddit Apr 16, 2026 1 min read
이 Reddit 스레드의 분위기는 TGI를 그리워하는 쪽이 아니다. Hugging Face TGI가 사실상 유지보수 단계로 들어간 지금, 실전 inference serving의 기본 선택지는 vLLM 쪽으로 기울었다는 운영자들의 현장감이 훨씬 강했다.
LLM Apr 13, 2026 1 min read
Google은 Gemini API에 Flex와 Priority service tiers를 추가해 background 작업에는 저비용 synchronous inference를, critical traffic에는 더 높은 assurance를 선택할 수 있게 했다. 이 변화는 agent 개발자가 여러 API로 아키텍처를 쪼개지 않고도 비용과 신뢰도를 분리 설계할 수 있게 해준다.
LLM Apr 11, 2026 1 min read
Cloudflare는 2026년 3월 19일 Workers AI에 Moonshot AI의 Kimi K2.5를 추가하며 large-model tier로 올라섰다. durable agent execution, large-context inference, lower-cost open model deployment를 하나의 stack으로 묶겠다는 전략이 핵심이다.
LLM Reddit Apr 11, 2026 2 min read
LocalLLaMA의 한 구현 보고는 Apple Silicon용 native MLX DFlash runtime으로 Qwen 계열 inference를 2배에서 3배 이상 가속했다고 주장한다. 중요한 점은 speedup뿐 아니라 greedy baseline과 bit-for-bit identical output을 유지했다고 설명한 부분이다.
LLM Reddit Apr 10, 2026 2 min read
LocalLLaMA에서 주목받은 글은 SGLang b12x+NEXTN, PCIe switch topology, 공개 raw benchmark JSON을 바탕으로 듀얼 RTX PRO 6000 Blackwell에서 Qwen3.5-122B NVFP4가 약 198 tok/s를 기록했다고 공유했다.