2x RTX 3090으로 Qwen3.5 27B를 170k 컨텍스트에서 초당 100+ 토큰으로 구동하는 법
Original: Running Qwen3.5 27b dense with 170k context at 100+t/s decode and ~1500t/s prefill on 2x3090 (with 585t/s throughput for 8 simultaneous requests) View original →
개요
LocalLLaMA 커뮤니티에서 한 개발자가 소비자용 GPU 듀얼 셋업으로 Qwen3.5 27B 덴스 모델을 고성능으로 구동하는 방법을 공유했다. 결과는 인상적이다: 170k 컨텍스트 윈도우에서 초당 100+ 토큰 디코딩과 약 1,500t/s의 프리필 속도를 달성했다.
하드웨어 구성
이 성능은 NVLink로 연결된 2x RTX 3090 GPU 셋업에서 달성되었다. NVLink는 GPU 간 고속 연결을 제공하여 텐서 병렬화의 효율을 크게 높인다고 개발자는 설명했다.
소프트웨어 최적화
핵심 최적화 기법은 다음과 같다:
- vLLM을 텐서 병렬화 모드로 활용
- MTP(Multi-Token Prediction)를 5토큰 예측으로 설정 (기본 문서에서 권장하는 3보다 높음)
- MTP 적용 후 평균 수락 길이가 3 이상으로 유지됨을 확인
MTP 값을 5 이상으로 높여도 추가적인 이득이 없어 5가 최적값으로 나타났다.
실제 성능
최악의 케이스(복잡한 추론 요청)에서도 디코딩 속도는 거의 60t/s 이하로 떨어지지 않았다. 8개의 동시 요청을 처리할 때 최대 585t/s의 집계 처리량을 달성했다. 이는 멀티 유저 서비스 환경에서도 충분한 성능이다.
의의
이 결과는 소비자용 GPU 듀얼 셋업으로도 프로덕션 수준의 LLM 서빙이 가능함을 보여준다. 클라우드 비용 없이 강력한 로컬 AI 인프라를 구축하려는 개발자들에게 실용적인 레퍼런스가 된다.
Related Articles
LocalLLaMA의 한 글은 RX 9070 XT에서 llama.cpp `--ubatch-size`를 64로 낮췄더니 Qwen3.5-27B의 prompt processing 속도가 크게 뛰었다고 보고했다. 핵심은 64가 만능값이라는 것이 아니라, prompt ingestion과 token generation이 `n_ubatch`에 전혀 다르게 반응할 수 있다는 점이다.
Hacker News에서 주목받은 Unsloth의 Qwen3.5 가이드는 27B와 35B-A3B를 포함한 로컬 실행 경로를 메모리 요구량, thinking 제어, llama.cpp 명령 중심으로 정리한다.
r/LocalLLaMA에서 주목받은 PSA는 Ollama나 LM Studio 같은 편의 레이어가 model behavior를 바꿀 수 있으므로, 새 모델 평가는 먼저 llama.cpp, transformers, vLLM, SGLang 같은 기본 런타임에서 해야 한다고 조언한다. 댓글에서도 핵심은 특정 툴 선호가 아니라 template, stop token, sampling, quantization을 고정한 재현성이라는 점이 강조됐다.
Comments (0)
No comments yet. Be the first to comment!