태그

#inference

#inference 태그가 달린 기사

LLM X/Twitter

카르파티: LLM 메모리·연산 최적화의 핵심 — SRAM vs DRAM 트레이드오프

AI 연구자 안드레이 카르파티가 LLM 시대의 핵심 기술 과제로 메모리와 연산 자원의 최적 조합을 제시했다. 온칩 SRAM과 외부 DRAM의 트레이드오프를 이해하고 추론·훈련 워크플로우에서 최고의 처리량·지연시간·비용 효율을 달성하는 것이 현재 가장 흥미로운 기술적 과제라고 강조했다.

2026년 3월 1일 1분 소요 42

#llm #hardware #inference

LLM 레딧

Taalas: LLM을 실리콘에 직접 구워 초당 17,000 토큰 달성

스타트업 Taalas가 LLM의 가중치와 모델 아키텍처를 단일 실리콘 칩에 직접 구워, 초당 17,000 토큰 이상과 1밀리초 미만의 지연 시간을 달성했다고 주장합니다. Reddit r/singularity에서 814점을 받으며 AI 하드웨어 혁신 논의를 촉발했습니다.

2026년 2월 23일 1분 소요 49

#taalas #llm #asic

LLM 해커뉴스

타알라스, LLM을 칩에 '인쇄'하다: GPU 대비 10배 빠른 AI 추론 ASIC

스타트업 타알라스(Taalas)가 Llama 3.1 8B 모델의 가중치를 실리콘에 물리적으로 새긴 ASIC 칩을 출시했습니다. 초당 17,000 토큰을 생성하며 GPU 기반 시스템 대비 10배 빠르고 10배 저렴하며 10배 적은 전력을 소비합니다.

2026년 2월 22일 2분 소요 38

#taalas #asic #llm

LLM 해커뉴스

NVMe-to-GPU로 RTX 3090 단일 GPU에서 Llama 3.1 70B 실행

CPU RAM을 우회하고 NVMe 저장장치에서 GPU로 직접 가중치를 스트리밍하는 방식으로, RTX 3090 단일 소비자용 GPU에서 700억 파라미터 Llama 3.1 모델을 실행하는 오픈소스 프로젝트가 공개됐습니다.

2026년 2월 22일 1분 소요 40

#llama #gpu #open-source

LLM 해커뉴스

Taalas, 모델 특화 실리콘으로 저지연 AI 추론 전략 제시

Hacker News 고반응 스레드에서 Taalas의 모델 특화 실리콘 접근이 주목받았다. 회사는 하드와이어드 Llama 3.1 8B 기반으로 사용자당 17K tokens/sec 성능을 주장했다.

2026년 2월 20일 2분 소요 38

#llm #inference #ai-hardware

Microsoft, Maia 200 공개: Azure 추론 워크로드용 2세대 AI 가속기

Microsoft는 2026-01-26에 Maia 200(코드명 Braga)을 발표하며 추론 최적화 전략을 공식화했다. 회사는 Copilot·Azure AI 일부 워크로드에서 Maia 100 대비 최대 1.7배 성능 향상을 제시했다.

2026년 2월 19일 1분 소요 39

#microsoft #maia-200 #inference

LLM

NVIDIA Blackwell 기반 오픈소스 추론, 토큰 비용 최대 10배 절감 사례 공개

NVIDIA는 2026년 2월 12일, Baseten·DeepInfra·Fireworks AI·Together AI가 Blackwell 기반 추론 스택으로 token cost를 크게 낮추고 있다고 밝혔다. 발표에는 Hopper 대비 최대 10배 절감, 개별 고객사별 지연시간·비용 개선 수치가 포함됐다.

2026년 2월 19일 2분 소요 49

#nvidia #blackwell #inference

NVIDIA Blackwell Ultra, Agentic AI 추론 효율 대폭 개선 주장: 최대 50배 성능·35배 비용 절감

NVIDIA는 2026년 2월 16일 Blackwell Ultra(GB300 NVL72) 기반 추론 지표를 공개하며, Hopper 대비 최대 50배 throughput-per-megawatt와 최대 35배 토큰 비용 절감을 제시했다. Microsoft, CoreWeave, OCI의 GB300 NVL72 배치 사례도 함께 공개했다.

2026년 2월 17일 2분 소요 47

#nvidia #blackwell #inference

LLM 해커뉴스

빠른 LLM 추론을 위한 두 가지 접근: 배치 최적화 vs 전용 칩

Hacker News에서 주목받은 글이 Anthropic과 OpenAI의 fast mode를 비교하며, LLM 추론 성능에서 배치 크기와 하드웨어 전략이 어떻게 다른 결과를 만드는지 설명했다.

2026년 2월 16일 2분 소요 42

#llm #inference #latency

LLM 레딧

llama.cpp Qwen3Next 그래프 최적화 PR 병합, LocalLLaMA에서 추론 속도 개선 확인

r/LocalLLaMA 인기 글은 llama.cpp PR #19375 병합 소식을 공유하며 Qwen3Next 추론 성능 향상을 집중 조명했다. PR 설명과 커뮤니티 벤치마크 모두에서 불필요한 copy 감소에 따른 t/s 개선이 보고됐다.

2026년 2월 15일 1분 소요 47

#llama-cpp #qwen3next #inference