MacBook Air M5에서 local coding LLM 21개 비교, LocalLLaMA가 원한 건 vibe 아닌 숫자
r/LocalLLaMA의 MacBook Air M5 benchmark 글은 Qwen 3.6 35B-A3B의 89.6% HumanEval+ 결과뿐 아니라, RAM과 tok/s를 함께 본 실사용 관점을 제공했다.
원문: I benchmarked 21 local LLMs on a MacBook Air M5 for code quality AND speed 원문 보기 →
r/LocalLLaMA에 올라온 MacBook Air M5 benchmark는 커뮤니티가 좋아하는 “내 machine에서 실제로 돌려 본” 종류의 글이다. 작성자는 “bro trust me”식 coding model 추천을 줄이고 싶다며, 21개 local LLM을 동일 조건에서 HumanEval+ pass@1과 token speed, memory footprint로 비교했다. 공개 writeup, GitHub repo, Hugging Face dataset까지 붙인 점도 thread의 신뢰도를 올렸다.
가장 큰 숫자는 Qwen 3.6 35B-A3B다. 글에 따르면 이 MoE model은 HumanEval+ 89.6%, 16.9 tok/s, 20.1 GB로 1위를 차지했다. 작성자는 total parameter가 quality에, active parameter가 speed에 영향을 준다는 점에서 이 model이 균형을 잘 잡았다고 해석했다. Qwen 2.5 Coder 32B는 87.2%였지만 2.5 tok/s로 느렸고, Qwen 2.5 Coder 7B는 84.2%, 11.3 tok/s, 4.5 GB로 “best bang-for-RAM”에 가까운 결과를 냈다.
커뮤니티가 특히 물고 늘어진 부분은 Gemma 4의 낮은 점수다. Gemma 4 31B는 31.1%, Gemma 4 E4B는 14.6%, Gemma 4 26B-A4B MoE는 12.2%에 그쳤다. 작성자는 Q4_K_M quantization이 Gemma 4 architecture에 더 불리하게 작용했거나, HumanEval+ task distribution이 강점을 반영하지 못했을 수 있다고 적었다. 댓글에서는 Gemma 4 tool-calling problem, premature stop, llama.cpp fix 여부 같은 실무적 추측이 이어졌다.
이 thread의 가치는 leaderboard가 아니라 constraint-aware view에 있다. MacBook Air 같은 consumer device에서 speed와 RAM을 함께 봐야 daily coding assistant로 쓸 수 있는지 판단할 수 있다. Phi 4 Mini 3.8B가 70.7%, 19.6 tok/s, 2.5 GB로 sleeper pick처럼 보였다는 점도 같은 맥락이다.
원문은 Reddit discussion, 세부 writeup은 게시글에 연결된 Medium과 GitHub repo에서 볼 수 있다. LocalLLaMA가 이 글에 반응한 이유는 간단하다. local LLM 선택은 이제 “무엇이 가장 똑똑한가”보다 “내 hardware에서 충분히 맞고 빠른가”에 더 가까워지고 있다.
관련 기사
Qwen 3.6 vs Gemma 4, Pac-Man 한 판에서 갈린 local LLM 평가축
LocalLLaMA 댓글은 토큰 속도보다 끝까지 굴러가는 결과물에 더 민감했다. 같은 MacBook Pro M5 Max에서 Qwen 3.6 27B는 더 길고 빠르게 썼지만, Gemma 4 31B는 훨씬 적은 토큰으로 게임 로직과 상호작용을 먼저 정리했다.
Qwen3.8-27B, 27B 로컬 모델의 성능보다 먼저 나온 질문 ‘왜 이렇게 오래 생각하나’
27B 모델이 노트북에서도 까다로운 추론과 코딩을 해냈다는 경험담이 이어졌지만, 관심은 곧 긴 추론 시간과 VRAM 비용으로 옮겨갔다. Qwen3.8-27B의 진짜 시험대는 벤치마크보다 reasoning_effort를 어떻게 다루느냐에 가깝다.
Qwen 3.8 27B, 17GB에 담긴 실력보다 더 큰 문제는 ‘과한 생각’
17GB짜리 로컬 모델이 코딩과 비전 작업을 해내자 관심은 성능표보다 ‘얼마나 오래 생각하게 둘 것인가’에 모였다. Qwen 3.8 27B는 소비자 하드웨어에서 강한 결과를 내지만 기본 xhigh 추론 설정이 간단한 요청에도 수만 개 토큰을 쓰는 운영 문제를 드러낸다.