LLM X/Twitter
Ternary Bonsai, 1.58-bit open 8B model을 1.75GB로 줄였다
PrismML은 작은 open model이 architecture만이 아니라 weight format 변화로도 쓸 만해질 수 있는지 시험한다. Ternary Bonsai는 1.58 bits에서 8B, 4B, 1.7B 모델을 내고 8B variant는 1.75GB로 제시됐다.
1분 소요 47 조회
태그
#ternary-bonsai 태그가 달린 기사
PrismML은 작은 open model이 architecture만이 아니라 weight format 변화로도 쓸 만해질 수 있는지 시험한다. Ternary Bonsai는 1.58 bits에서 8B, 4B, 1.7B 모델을 내고 8B variant는 1.75GB로 제시됐다.