vLLM speculative decoding, AMD GPU서 최대 2.87배…길게 예측한다고 빠를까

작은 초안 모델이 미래 토큰을 먼저 제안하고 큰 모델이 한 번에 검증하는 speculative decoding은 원리는 단순하지만 설정값 하나로 속도가 크게 흔들린다. vLLM이 AMD Instinct MI300X와 MI355X에서 공개한 측정은 ‘더 길게 예측하면 더 빠르다’는 직관이 자주 틀린다는 점을 보여준다. 최고 수치는 기준 방식의 2.87배였지만 모든 조합이 이득을 낸 것은 아니다.

일반적인 자기회귀 생성은 한 번에 확정 토큰 하나씩 전진한다. speculative decoding은 가벼운 구성요소가 여러 후보를 만들고 목표 모델이 왼쪽부터 검증한다. 앞부분 후보가 맞으면 한 번의 목표 모델 실행으로 여러 토큰을 확정할 수 있다. 중간 후보가 틀리면 그 뒤의 초안은 버리고 목표 모델의 결과에서 다시 이어 간다. 출력 분포를 바꾸지 않으면서 목표 모델 호출 횟수를 줄이는 구조다.

비교 대상은 native MTP, Gemma 4 MTP, EAGLE-3, DFlash, DSpark 다섯 계열이다. Qwen3·Qwen3.5·Qwen3.6, Gemma 4, Kimi, MiniMax 계열을 GSM8K, MATH500, HumanEval, MBPP 같은 실제 과제형 데이터로 측정했다. Gemma 4 26B에서는 DFlash가 MATH500 2.87배, HumanEval 2.79배를 기록했다. Gemma 4 MTP도 GSM8K 2.74배와 MBPP 2.62배까지 올라갔다.

작은 모델이라고 자동으로 유리하지도 않았다. Qwen3-8B에서 DSpark는 과제에 따라 1.15배에서 1.63배였고, DFlash는 1.08배에서 1.27배였다. EAGLE-3는 세 과제에서 기준선보다 빨랐지만 MATH500의 최고 측정값은 기준선에 못 미쳤다. 초안을 만드는 비용이 목표 모델에서 아낀 계산보다 커지면 speculative decoding 자체가 손해가 된다.

제안 길이 N도 모델마다 최적점이 달랐다. Qwen3.5-27B는 과제에 따라 N=3, 4, 5가 갈렸고, 122B-A10B의 일부 추론·코드 과제는 N=7에서 최고치를 냈다. DFlash는 N=7이 자주 좋은 구간에 있었지만 일부 작업은 N=11이 더 높았다. 긴 제안이 지원된다는 사실은 그것이 최고 처리량을 준다는 뜻이 아니다.

운영자는 처리량과 함께 평균 수락 길이, 전체 수락률, 위치별 수락률을 봐야 한다. 뒤쪽 토큰이 거의 채택되지 않는다면 N을 줄여 불필요한 초안 비용을 없앨 수 있다. 반대로 수락률이 높아도 초안 모델이 무거우면 전체 속도는 낮을 수 있다. 구성 예시와 전체 측정은 vLLM 기술 글에서 확인할 수 있다.