AI Reddit 5d ago 2 min read
가속기가 계산을 빠르게 해도 data가 도착하지 않으면 전체는 느려진다. r/MachineLearning의 이 작은 실험은 264KB SRAM에서 32×32 이미지를 만들며 memory wall을 숫자로 드러냈다.
온디바이스 AI 성능 실험: iPhone 성공과 FPGA의 역설
Current state
iPhone에서 초당 108음표를 내는 125M 피아노 모델과 FPGA를 붙이자 3배 느려진 264KB diffusion 모델—온디바이스 AI의 명암을 대비한 두 편의 실험 기록.
What changed recently
- 264KB diffusion model, FPGA를 붙이자 3배 느려진 이유
- 125M piano autocomplete, iPhone에서 초당 108개 음표
Key tensions
Optimistic case: 온디바이스 AI 성능 실험: iPhone 성공과 FPGA의 역설 unlocks real, compounding leverage.
Skeptical case: reliability, cost, and control around 온디바이스 AI 성능 실험: iPhone 성공과 FPGA의 역설 remain unresolved.
Signals to watch
- Momentum and new coverage around “core-ml”
- Momentum and new coverage around “diffusion”
- Momentum and new coverage around “dpo”
Timeline
Latest
Recent development
AI Hacker News 5d ago 2 min read
좋은 모델보다 좋은 MIDI 표현이 먼저였다. 320점을 받은 프로젝트는 14번의 실험 끝에 125M transformer를 iPhone에서 실시간으로 연주시키며, 데이터 정제와 DPO가 크기보다 중요했던 과정을 공개했다.