LocalLLaMA 675댓글… 로컬 코딩 LLM 회의론 커진 이유

요즘 LocalLLaMA 분위기를 한 번에 보여주는 글을 고르라면 이 스레드가 먼저 나온다. 작성자는 몇 주 동안 Qwen 27B, Gemma 4 31B, 그리고 여러 에이전트형 앱으로 코딩과 OS 작업을 밀어봤지만 생산성 손해가 너무 커서 그만두겠다고 적었다. 불만은 막연하지 않았다. 툴 호출 판단이 어설프고, 오래 걸리는 명령 뒤 복구가 약하고, 출력 확인 대신 추측으로 새 행동을 던지고, 프롬프트 캐시가 자주 깨지고, 결국 큰 클라우드 모델 대비 마찰이 너무 크다는 이야기였다.

이 글이 800점대 업보트와 675댓글까지 간 이유도 그 현실감 때문이다. 가장 공감을 받은 댓글은 “나도 내가 뭘 잘못하고 있나 싶었는데, 이 서브레딧이 기대치를 너무 올린 것 같다”는 쪽이었다. 다른 상위 댓글은 X에서 쏟아지는 “모든 게 그냥 된다” 식 과장에 대한 해독제 같다고 했다. 로컬 모델이 완전히 끝났다는 선언보다, 도커 빌드 타임아웃, 로그가 문맥을 다 먹는 문제, 중간에 작업 흐름을 놓치는 에이전트 같은 지저분한 현실 묘사가 더 크게 먹힌 셈이다.

반론도 만만치 않았다. 몇몇 댓글은 이 글이 모델 성능과 하니스 성능을 섞어 말한다고 지적했다. 같은 모델이어도 에이전트 셸, 시스템 프롬프트, 컨텍스트 엔지니어링에 따라 결과가 크게 달라질 수 있다는 것이다. 실제로 한 댓글은 로컬 추론 환경에서 Claude Code 반응성을 끌어올리는 설정 가이드를 연결했고, 다른 댓글은 작성자가 말한 “마치 내 마음을 읽는 듯한 차이”의 일부는 모델보다 도구 설계에서 온다고 설명했다.

그래서 이 스레드의 핵심은 “로컬은 별로”가 아니라, 로컬 코딩 에이전트의 병목이 어디인지 다시 따져 보자는 데 있다. 작성자도 자동화, 가벼운 리서치, 텍스트 작업에서는 로컬 모델을 계속 쓰겠다고 적었다. 다만 장시간 명령과 복잡한 상태 관리가 들어가는 코딩 작업에서는 아직 회의론이 강하다. LocalLLaMA가 이 글에 크게 반응한 이유는 바로 그 중간 지점, 기대와 실제 사이의 간극을 정확히 찔렀기 때문이다.