LLM X/Twitter 1d ago 1 min read
KV 캐시 전체를 HBM에 두지 않는 OasisKV가 장문 LLM 서빙의 메모리 병목을 겨냥했다. 요청당 KV 요구량을 6.5~9.7배 줄이면서 다중 GPU 처리량을 최대 2.1배 높였다.
LLM 효율 경쟁 2026년 8월: 750 tok/s부터 KV 캐시 9.7배 절감까지
Current state
Nemotron 3.5 Lightning의 희소 활성화, GPT-5.6 Sol의 750 tok/s 경로, Qwen3.8의 로컬 추론 비용, Mobius의 지식·추론 분리, OasisKV의 메모리 절감을 통해 2026년 8월 LLM 효율 경쟁을 추적한다.
What changed recently
- OasisKV, 장문 LLM 서빙의 KV 메모리 6.5~9.7배 줄이고 처리량은 최대 2.1배로
- Mobius, 지식·추론 분리로 7B 학습량 62.6% 줄이고 속도는 약 4배까지 끌어올려
- Qwen3.8-27B, 27B 로컬 모델의 성능보다 먼저 나온 질문 ‘왜 이렇게 오래 생각하나’
Key tensions
Optimistic case: LLM 효율 경쟁 2026년 8월: 750 tok/s부터 KV 캐시 9.7배 절감까지 unlocks real, compounding leverage.
Skeptical case: reliability, cost, and control around LLM 효율 경쟁 2026년 8월: 750 tok/s부터 KV 캐시 9.7배 절감까지 remain unresolved.
Signals to watch
- Momentum and new coverage around “inference”
- Momentum and new coverage around “ai-agents”
- Momentum and new coverage around “cerebras”
Timeline
Latest
Recent development
LLM X/Twitter 1d ago 1 min read
지식 저장과 추론 연산을 분리한 Mobius가 7B Transformer와 비슷한 성능을 학습 데이터 62.6%로 달성했다. Qwen3.5-35B에서 이어 학습한 버전은 종단 간 추론 속도를 약 4배 높였다.
Recent development
LLM Hacker News 2d ago 1 min read
27B 모델이 노트북에서도 까다로운 추론과 코딩을 해냈다는 경험담이 이어졌지만, 관심은 곧 긴 추론 시간과 VRAM 비용으로 옮겨갔다. Qwen3.8-27B의 진짜 시험대는 벤치마크보다 reasoning_effort를 어떻게 다루느냐에 가깝다.
Recent development
LLM X/Twitter 3d ago 1 min read
최상위 모델의 지능을 유지하면서 응답 속도를 최대 14배 높인 점이 핵심이다. Cerebras 기반 GPT-5.6 Sol은 초당 최대 750개 출력 토큰을 생성하며, 우선 일부 API 고객에게 제공된다. 가격과 일반 공개 일정은 아직 나오지 않았고, 확대는 처리 용량에 맞춰 진행된다.
Recent development
LLM X/Twitter 6d ago 1 min read
NVIDIA의 30B MoE 공개 모델은 토큰당 3B 매개변수만 활성화해 동급 모델보다 최대 4배 빠른 출력을 겨냥한다. PinchBench에서는 86% 정확도로 1만 개 작업을 Qwen3.6 35B보다 더 빨리 마쳤다.