LocalLLaMA의 Gemma 4 번역 사례, "직접 돌려야 내 것"이라는 반응

r/LocalLLaMA의 한 글이 반응을 얻은 이유는 숫자보다 경험담의 결이 강했기 때문이다. 작성자는 중국 웹소설을 chapter 단위로 번역하며 secret identity와 인물명 consistency를 맞춰야 했고, 같은 prompt를 여러 model에 넣어 보니 cloud model의 품질 저하와 filtering이 체감됐다고 설명했다. 제목의 “If you don't run it, you don't own it”은 바로 그 문제의식이다.

작성자가 제시한 표는 엄밀한 benchmark가 아니다. 단일 사용 사례와 단일 prompt에 가까운 비교다. 그래도 community가 반응한 이유는 구체적이다. GPT OSS 120B는 character name을 섞었고, Qwen 3 Max와 Qwen 3.6 Plus는 작성자 기준으로 censorship filter에 걸렸으며, ChatGPT 5.3은 정확한 이름 선택과 자연스러움에서 실패했다고 한다. 반면 Gemma 4 31B는 자연스럽고 빠른 번역으로 PASS를 받았고, Qwen 3.5 27B와 Gemini Chat은 partial pass로 적혔다.

이 글이 흥미로운 점은 “Gemma 4가 항상 더 낫다”는 결론이 아니라, hosted model이 바뀌는 방식에 대한 불신을 건드린다는 점이다. 작성자는 과거의 ChatGPT 4o가 이 작업에서 가장 좋았지만, 이후 update와 A/B testing을 거치며 같은 작업의 실패율이 올라갔다고 주장한다. local model은 절대 품질이 낮아도 version을 고정하고, quantization과 prompt를 자신이 통제할 수 있다는 점에서 다른 종류의 reliability를 제공한다.

댓글에서도 이 부분이 이어졌다. 일부 사용자는 작은 local model이 Swiss German transcription 같은 niche language task에서도 예상보다 잘한다는 경험을 보탰고, 다른 사용자는 모델별 censorship과 quality drift를 cloud service의 운영 리스크로 봤다. 물론 이것은 공개 dataset 기반 benchmark가 아니며, 소설 번역이라는 특정 domain에 편향된 사례다. 그 한계 때문에 오히려 LocalLLaMA다운 thread다.

원문은 Reddit post에서 볼 수 있다. 이 사례가 보여 주는 것은 local LLM의 승리 선언이 아니라, 사용자가 중요하게 여기는 task에서 “model version을 내가 통제할 수 있는가”가 점점 더 큰 제품 가치가 되고 있다는 점이다.