Rust·llama.cpp manga translator, LocalLLaMA가 본 local OCR pipeline의 손맛
Original: Local manga translator with LLM build-in, written in Rust with llama.cpp integration View original →
r/LocalLLaMA에서 올라온 Rust 기반 manga translator는 단순한 demo보다 workflow 완성도 때문에 반응을 얻었다. 작성자는 이 프로젝트가 manga뿐 아니라 일반 image translation에도 쓸 수 있고, object detection, visual LLM-based OCR, layout analysis, fine-tuned inpainting model을 조합한다고 설명했다. LLM 부분은 llama.cpp를 통합해 Gemma 4 family와 Qwen3.5 family를 지원하고, OpenAPI-compatible API를 통해 LM Studio나 OpenRouter도 붙일 수 있다고 밝혔다.
흥미로운 점은 “모델 하나가 번역한다”가 아니라, 여러 vision 단계가 editor UX로 엮였다는 점이다. 작성자는 button을 누르면 pipeline이 돌고, 사용자가 결과를 proofread하고 font, size, color를 바꿀 수 있는 mini Photoshop 같은 편집 흐름을 강조했다. GitHub repo는 https://github.com/mayocream/koharu로 공개돼 있다.
- local OCR과 layout analysis가 speech bubble, text area, redraw 문제를 나눠 처리한다.
- llama.cpp 통합은 cloud-only 번역이 아니라 local model 선택지를 만든다.
- OpenAPI-compatible path는 local과 remote provider를 같은 UI 안에서 바꿀 수 있게 한다.
community discussion noted that 사용자들이 실제로 원하는 것은 “완전 자동”만이 아니다. 댓글에서는 browser extension, manual textbox control, font customization, video demo 보강 같은 사용성 요구가 이어졌다. manga translation은 OCR 오류 하나가 말풍선 배치와 그림 복원까지 흔드는 문제라, editable pipeline이 중요하다. 이 thread가 LocalLLaMA에서 먹힌 이유도 그 지점이다. local LLM이 novelty를 넘어, 작은 creative tool의 부품으로 들어가는 모습이 보였기 때문이다.
원문 thread는 r/LocalLLaMA에 있다.
Related Articles
LocalLLaMA가 반응한 이유는 큰 MoE model을 작은 VRAM에서 굴릴 때 생기는 병목을 꽤 현실적인 방식으로 찔렀기 때문이다. 작성자는 Qwen3.5-122B-A10B에서 최근 token들이 자주 route한 expert를 VRAM cache에 올리는 llama.cpp fork를 실험했고, 같은 22GB대 VRAM 사용량에서 layer-based offload보다 token generation이 26.8% 빨랐다고 공유했다.
LocalLLaMA가 반응한 포인트는 “LLM이 스스로 빨라진다”는 농담 같은 구조가 실제 benchmark 숫자로 이어졌다는 점이었다. 작성자는 llm-server v2의 --ai-tune이 llama-server help를 context로 읽고 flag 조합을 돌며 fastest config를 cache한다고 설명했고, Qwen3.5-27B Q4_K_M은 18.5 tok/s에서 40.05 tok/s까지 올라갔다고 공유했다.
HN이 크게 반응한 이유는 한 wrapper의 호불호가 아니라, local LLM stack에서 누가 credit과 control을 가져가는지에 대한 불편함이었다. Sleeping Robots의 글은 Ollama가 llama.cpp 위에서 성장했지만 attribution, model packaging, cloud routing, model storage에서 사용자 신뢰를 깎았다고 주장했고, 댓글은 “그래도 UX는 압도적으로 쉽다”는 반론까지 붙었다.
Comments (0)
No comments yet. Be the first to comment!