#bonsai

27B급 모델을 3.9GB 1-bit 가중치로 줄였다는 주장은 온디바이스 AI의 기준선을 다시 묻는다. RunAnywhere는 자체 평가에서 전체 정밀도 품질의 약 90%를 보존하고 2-bit 버전보다 절반 이하 크기라고 밝혔다.

LocalLLaMA는 1.58-bit model의 가능성에 반응했지만, thread는 곧 어려운 질문으로 향했다. 비교 대상이 quantized Qwen peers가 아니라 full-precision baseline이면 공정한가.

r/LocalLLaMA의 반응은 PrismML Bonsai 발표가 단순한 compression headline 이상으로 받아들여지고 있음을 보여 준다. 회사가 내세운 end-to-end 1-bit 설계와, 실제 사용자가 체감한 사용성 개선이 함께 이야기되고 있다.