LLM 레딧
Taalas: LLM을 실리콘에 직접 구워 초당 17,000 토큰 달성
스타트업 Taalas가 LLM의 가중치와 모델 아키텍처를 단일 실리콘 칩에 직접 구워, 초당 17,000 토큰 이상과 1밀리초 미만의 지연 시간을 달성했다고 주장합니다. Reddit r/singularity에서 814점을 받으며 AI 하드웨어 혁신 논의를 촉발했습니다.
1분 소요 49 조회
태그
#asic
#asic 태그가 달린 기사
LLM 해커뉴스
타알라스, LLM을 칩에 '인쇄'하다: GPU 대비 10배 빠른 AI 추론 ASIC
스타트업 타알라스(Taalas)가 Llama 3.1 8B 모델의 가중치를 실리콘에 물리적으로 새긴 ASIC 칩을 출시했습니다. 초당 17,000 토큰을 생성하며 GPU 기반 시스템 대비 10배 빠르고 10배 저렴하며 10배 적은 전력을 소비합니다.
2분 소요 38 조회