LLM 레딧
1998년 iMac G3 32MB RAM에서 로컬 LLM을 돌린 LocalLLaMA 실험
LocalLLaMA에서 화제가 된 이 실험은 stock iMac G3에 Karpathy의 TinyStories 260K 모델을 포팅해 32 tokens를 1초 이내에 생성한다. 핵심은 tiny checkpoint와 classic Mac OS 환경에 맞춘 집요한 시스템 수정이다.
2분 소요 27 조회
태그
#retrocomputing
#retrocomputing 태그가 달린 기사
AI 해커뉴스
Hacker News가 다시 조명한 ATTN/11, PDP-11 assembly로 학습한 Transformer
Hacker News가 주목한 ATTN/11은 PDP-11/34A에서 single-layer, single-head Transformer를 PDP-11 assembly로 학습시키는 프로젝트다. README에 따르면 fixed-point math, per-layer learning rates, 32KB memory budget 최적화로 digit reversal 학습 시간이 여러 시간 추정치에서 5.5 minutes 실행으로 줄었고, 결과는 10/10 accuracy다.
2분 소요 29 조회