태그

#kv-cache

#kv-cache 태그가 달린 기사

LLM 레딧

LocalLLaMA가 주목한 RotorQuant, KV cache compression을 Clifford rotors로 다시 쓰다

Reddit thread는 TurboQuant의 dense rotation을 더 구조적인 rotor math로 바꾸면 attention fidelity를 크게 잃지 않으면서 kernel cost를 낮출 수 있다는 주장에 반응했다.

2026년 3월 27일 2분 소요 50

#rotorquant #quantization #kv-cache

LLM 해커뉴스

TurboQuant, KV cache 압축을 시스템 레벨 이슈로 끌어올리다

Google Research는 2026년 3월 24일 TurboQuant를 공개하며 KV cache와 vector search의 memory bottleneck을 정면으로 다뤘다. HN에서는 491 points와 129 comments를 기록하며 long-context inference 비용을 바꿀 수 있는 접근으로 주목받았다.

2026년 3월 26일 2분 소요 46

#quantization #kv-cache #inference

LLM 레딧

Reddit가 주목한 DeepSeek DualPath: 에이전트형 LLM의 KV-Cache I/O 병목 해소

r/LocalLLaMA에서 화제가 된 DualPath 논문은 KV-Cache 로딩 경로를 분리해 I/O 병목을 완화하는 시스템 설계를 제안한다. arXiv 초록 기준으로 오프라인 최대 1.87배, 온라인 평균 1.96배 처리량 개선을 보고했다.

2026년 2월 26일 1분 소요 41

#llm-inference #kv-cache #rdma

LLM 해커뉴스

HN 주목: CDLM이 제시한 블록 단위 KV 캐시와 스텝 축소로 확산형 LLM 추론 가속

Hacker News 고득점 스레드는 Together AI의 CDLM 글을 공유했다. 해당 글은 확산형 언어모델에서 trajectory-consistent step reduction과 exact block-wise KV caching을 결합해 최대 14.5배 지연시간 개선을 보고한다.

2026년 2월 21일 2분 소요 38

#diffusion-language-models #llm-inference #kv-cache

LLM 레딧

r/LocalLLaMA: NVIDIA DMS, KV 캐시 메모리 최대 8배 절감 주장 화제

2026년 2월 13일 r/LocalLLaMA 게시글이 DMS(Dynamic Memory Sparsification)로 KV 캐시 메모리를 최대 8배 줄이면서 정확도를 유지할 수 있다는 내용을 공유했다. 커뮤니티는 추론 비용과 동시성 개선 가능성에 주목했지만, 1차 출처 검증 필요성도 함께 제기했다.

2026년 2월 14일 1분 소요 42

#llm-inference #kv-cache #nvidia