태그

#bonsai

#bonsai 태그가 달린 기사

LLM X/Twitter

27B 모델이 3.9GB로 축소, 스마트폰 온디바이스 추론 경쟁 가열

27B급 모델을 3.9GB 1-bit 가중치로 줄였다는 주장은 온디바이스 AI의 기준선을 다시 묻는다. RunAnywhere는 자체 평가에서 전체 정밀도 품질의 약 90%를 보존하고 2-bit 버전보다 절반 이하 크기라고 밝혔다.

2026년 7월 19일 1분 소요 17

LLM 레딧

LocalLLaMA는 1.58-bit model의 가능성에 반응했지만, thread는 곧 어려운 질문으로 향했다. 비교 대상이 quantized Qwen peers가 아니라 full-precision baseline이면 공정한가.

2026년 4월 17일 2분 소요 42

LLM 레딧

r/LocalLLaMA의 반응은 PrismML Bonsai 발표가 단순한 compression headline 이상으로 받아들여지고 있음을 보여 준다. 회사가 내세운 end-to-end 1-bit 설계와, 실제 사용자가 체감한 사용성 개선이 함께 이야기되고 있다.

2026년 4월 2일 2분 소요 43