GLM 5 출시 임박: vLLM과 Transformers에 지원 추가

GLM 5 출시 신호

Reddit의 r/LocalLLaMA 커뮤니티에서 vLLM 프로젝트의 pull request를 통해 GLM 5 모델 지원이 발견되면서, Zhipu AI의 차세대 언어 모델 출시가 임박했음이 드러났다. vLLM PR #34124와 Hugging Face Transformers PR #43858이 거의 동시에 머지되면서 모델 출시 준비가 완료 단계에 있음을 시사한다.

기술적 특징

GLM 5는 GlmMoeDsa(Mixture-of-Experts with Dynamic Sparse Attention) 아키텍처를 채택한다. 이는 기존 GLM 시리즈와 차별화되는 핵심 특징으로, 효율적인 추론을 위한 희소 활성화(sparse activation)와 동적 어텐션 메커니즘을 결합한다.

vLLM 구현에서는 DeepSeek V2의 어텐션 메커니즘을 기반으로 한 부분이 발견되어, GLM 5가 DeepSeek 3.2 아키텍처와 일부 유사성을 공유할 가능성이 제기되었다. 특히 indexer_rope_interleave 설정에 따라 is_neox_style 파라미터를 동적으로 결정하는 방식이 포함되어 있다.

커뮤니티 추측: OpenRouter의 Pony Alpha

흥미롭게도 LocalLLaMA 커뮤니티에서는 OpenRouter에 최근 등장한 'Pony Alpha' 모델이 실제로는 GLM 5의 스텔스 배포가 아닐까 하는 추측이 나오고 있다. 성능 특성과 출시 시기가 맞아떨어진다는 것이 근거다.

오픈소스 생태계 준비 완료

Hugging Face Transformers의 PR #43858은 2월 9일 Cyril Vallez에 의해 머지되었으며, 20개의 커밋과 여러 차례의 테스트를 거쳤다. 설정 파일, 어텐션 메커니즘, 테스트 프레임워크 등이 모두 GLM 5를 지원하도록 업데이트되었다.

이번 출시는 중국의 AI 기업들이 글로벌 오픈소스 생태계와 긴밀히 협력하며 최신 모델을 신속하게 통합하는 추세를 보여준다. GLM 5의 공식 발표와 벤치마크 결과가 조만간 공개될 것으로 기대된다.