LLM 해커뉴스
vLLM speculative decoding, AMD GPU서 최대 2.87배…길게 예측한다고 빠를까
초안 토큰을 많이 뽑는 것보다 실제 작업에서 얼마나 받아들여지는지가 속도를 갈랐다. vLLM이 AMD MI300X·MI355X에서 다섯 방식을 비교한 결과 최대 2.87배를 기록했지만, 모델·업무·제안 길이에 따라 기준선 아래로 내려간 조합도 있었다.
2분 소요 1 조회
LLM 추론 효율화 2026년 9월: vLLM AMD와 선언형 Attention
현재 상황
AMD MI300X에서 최대 2.87배를 낸 vLLM speculative decoding 5종 비교와, 재학습 없이 KV cache 읽기를 최대 52% 줄인 선언형 Attention — 추론 비용 절감의 두 방향을 묶는다.
최근 변화
- vLLM speculative decoding, AMD GPU서 최대 2.87배…길게 예측한다고 빠를까
- LLM이 직접 고르는 attention 범위, KV cache 읽기 절반으로
핵심 쟁점
낙관론: LLM 추론 효율화 2026년 9월: vLLM AMD와 선언형 Attention이(가) 실질적이고 누적되는 레버리지를 만들어냅니다.
신중론: LLM 추론 효율화 2026년 9월: vLLM AMD와 선언형 Attention의 신뢰성·비용·통제 문제는 아직 해결되지 않았습니다.
주목할 신호
- ‘inference’ 관련 모멘텀과 새로운 보도
- ‘amd’ 관련 모멘텀과 새로운 보도
- ‘attention’ 관련 모멘텀과 새로운 보도
타임라인
최신
최근 전개
LLM 레딧
LLM이 직접 고르는 attention 범위, KV cache 읽기 절반으로
긴 문맥 전체를 매 토큰마다 훑지 말고 모델이 필요한 구간을 직접 선언하게 하자는 단순한 발상이 연구자들의 눈길을 끌었다. Declarative Attention은 기존 모델을 재학습하지 않고도 총 attention 대상 토큰을 최대 52.0% 줄였지만 정확도 손실과 실제 지연 시간 검증이 과제로 남는다.
2분 소요 1 조회