LLM 해커뉴스
Strix Halo 두 대로 vLLM cluster, 관건은 100GbE RDMA 설정
로컬 LLM 관심은 이제 “돌아가나”에서 “두 노드를 어떻게 한 기계처럼 묶나”로 옮겨갔다. 이 가이드는 Framework Strix Halo 보드 두 대와 Intel E810 RoCE v2 구성을 vLLM serving까지 연결한다.
2분 소요 30 조회
태그
#rdma
#rdma 태그가 달린 기사
LLM 레딧
Reddit가 주목한 DeepSeek DualPath: 에이전트형 LLM의 KV-Cache I/O 병목 해소
r/LocalLLaMA에서 화제가 된 DualPath 논문은 KV-Cache 로딩 경로를 분리해 I/O 병목을 완화하는 시스템 설계를 제안한다. arXiv 초록 기준으로 오프라인 최대 1.87배, 온라인 평균 1.96배 처리량 개선을 보고했다.
1분 소요 41 조회