태그

#llm-inference

#llm-inference 태그가 달린 기사

LLM 레딧

Reddit가 주목한 DeepSeek DualPath: 에이전트형 LLM의 KV-Cache I/O 병목 해소

r/LocalLLaMA에서 화제가 된 DualPath 논문은 KV-Cache 로딩 경로를 분리해 I/O 병목을 완화하는 시스템 설계를 제안한다. arXiv 초록 기준으로 오프라인 최대 1.87배, 온라인 평균 1.96배 처리량 개선을 보고했다.

2026년 2월 26일 1분 소요 41

#llm-inference #kv-cache #rdma

LLM 해커뉴스

HN 주목: CDLM이 제시한 블록 단위 KV 캐시와 스텝 축소로 확산형 LLM 추론 가속

Hacker News 고득점 스레드는 Together AI의 CDLM 글을 공유했다. 해당 글은 확산형 언어모델에서 trajectory-consistent step reduction과 exact block-wise KV caching을 결합해 최대 14.5배 지연시간 개선을 보고한다.

2026년 2월 21일 2분 소요 38

#diffusion-language-models #llm-inference #kv-cache

LLM 레딧

r/LocalLLaMA: NVIDIA DMS, KV 캐시 메모리 최대 8배 절감 주장 화제

2026년 2월 13일 r/LocalLLaMA 게시글이 DMS(Dynamic Memory Sparsification)로 KV 캐시 메모리를 최대 8배 줄이면서 정확도를 유지할 수 있다는 내용을 공유했다. 커뮤니티는 추론 비용과 동시성 개선 가능성에 주목했지만, 1차 출처 검증 필요성도 함께 제기했다.

2026년 2월 14일 1분 소요 42

#llm-inference #kv-cache #nvidia