AI
Meta, MTIA custom silicon 로드맵 가속… 2년 내 4세대 칩 전개
Meta는 March 11, 2026 향후 2년 안에 MTIA custom chip 4세대를 개발·배치하겠다고 밝혔다. 회사는 ranking, recommendation, GenAI inference를 위한 AI infrastructure 전략의 중심에 MTIA를 두고 있다.
2분 소요 45 조회
태그
#inference
#inference 태그가 달린 기사
LLM 해커뉴스
Hacker News가 포착한 GreenBoost, system RAM과 NVMe로 GPU VRAM을 늘리는 Linux 스택
2026년 3월 15일 GreenBoost 관련 Hacker News 게시물은 124 points와 25 comments를 기록했다. 이 open-source Linux 프로젝트는 kernel module과 CUDA shim을 결합해 model memory를 VRAM, DDR4, NVMe로 계층화함으로써 inference app을 바꾸지 않고도 더 큰 local LLM을 실행하려 한다.
2분 소요 40 조회
AI X/Twitter
NVIDIA, Dynamo 1.0를 AI factories용 inference OS로 production 단계에 투입
NVIDIA는 2026년 3월 16일 Dynamo 1.0이 generative·agentic inference at scale용 open source software로 production 단계에 들어간다고 밝혔다. 회사는 이 스택이 Blackwell inference 성능을 최대 7배 높일 수 있고, 주요 cloud provider와 inference platform, AI-native 회사 전반에서 이미 지원되고 있다고 설명한다.
2분 소요 49 조회
AI
Meta, ranking과 GenAI inference를 겨냥한 MTIA 4세대 로드맵 공개
Meta는 2026년 3월 11일 MTIA 300부터 MTIA 500까지 이어지는 in-house AI chip 로드맵을 공개했다. 회사는 custom silicon을 통해 ranking, recommendation, 그리고 특히 GenAI inference의 비용 구조를 Meta 규모에 맞게 최적화하려 하고 있다.
2분 소요 50 조회
LLM 레딧
LocalLLaMA, K=64 커널 패치로 Blackwell 워크스테이션의 Qwen3.5-397B 추론 개선 주장
2026년 3월 14일 LocalLLaMA 글은 SM120 Blackwell 워크스테이션용 CUTLASS·FlashInfer 패치를 소개하며, Qwen3.5-397B NVFP4 추론 속도 개선과 FlashInfer PR #2786을 함께 제시했다.
2분 소요 48 조회
LLM 레딧
r/LocalLLaMA: 문서 분류 워크로드에서 Qwen 3.5 27B가 약 2000 TPS 기록
r/LocalLLaMA의 한 현장 보고는 매우 구체적인 local inference workload를 throughput 중심으로 튜닝한 사례를 보여줬다. 작성자는 Qwen 3.5 27B로 markdown 문서를 분류하면서 약 2,000 tokens per second를 기록했다고 했고, 댓글에서는 실전 최적화 포인트가 추가로 논의됐다.
2분 소요 38 조회
AI X/Twitter
Together AI, 실시간 Voice Agent용 one-cloud stack 공개
Together AI는 March 12, 2026에 real-time voice agent용 one-cloud stack을 공개한다고 밝혔다. 공개 자료에는 under-500ms latency, 25+ region 확장, 그리고 voice-agent deployment에서 time-to-first-64-tokens를 77ms까지 낮춘 kernel 최적화 사례가 포함돼 있다.
2분 소요 40 조회
LLM
Ares 논문, LLM agent 추론 비용 최대 52.7% 절감 제시
2026년 3월 9일 제출된 arXiv 논문 Ares는 multi-step LLM agent에서 단계별 reasoning effort를 동적으로 조절하는 방식을 제안했다. 저자들은 fixed high-effort 대비 reasoning token 사용량을 최대 52.7% 줄이면서 성공률 저하는 작았다고 보고했다.
2분 소요 41 조회
LLM 해커뉴스
Hacker News, transformer 내부에서 program execution을 수행한다는 Percepta 주장에 주목
Percepta는 2026년 3월 11일 공개한 글에서 transformer 내부에 computer를 만들고, arbitrary C program을 수백만 step 실행하며, 2D attention head로 inference를 지수적으로 가속할 수 있다고 주장했다. HN 이용자들은 흥미로운 연구 방향으로 봤지만, 더 명확한 설명과 benchmark, 실제 확장성에 대한 근거를 요구했다.
2분 소요 41 조회
AI
Meta, 2년간 4세대 개발 속도로 MTIA 로드맵 공개
Meta는 next-gen AI 확장에 custom silicon이 필수라며 Meta Training and Inference Accelerator(MTIA) 로드맵을 공개했다. 회사는 전통적인 chip cycle과 빠른 model architecture 변화의 간격을 줄이기 위해 2년 만에 4세대를 출시했다고 설명했다.
1분 소요 54 조회
LLM 레딧
Reddit, Mac용 Qwen 3.5 llama.cpp Metal speedup를 주목하다
r/LocalLLaMA 게시글은 Mac 사용자를 March 11, 2026에 merge된 llama.cpp pull request #20361로 이끌었다. 이 PR은 fused GDN recurrent Metal kernel을 추가하며, Qwen 3.5 계열에서 대략 12-36% throughput 향상을 제시한다. Reddit commenters는 change가 master에는 들어갔지만 일부 local benchmark에서는 여전히 MLX가 더 빠를 수 있다고 덧붙였다.
2분 소요 55 조회
LLM 레딧
r/LocalLLaMA가 주목한 llama.cpp reasoning budget 제어
새로운 llama.cpp 변경은 <code>--reasoning-budget</code>를 template stub이 아니라 sampler 차원의 실제 제어로 바꾼다. LocalLLaMA thread는 긴 think loop를 줄이는 것과 answer quality를 지키는 것 사이의 tradeoff, 특히 local Qwen 3.5 환경에서의 의미를 집중적으로 논의했다.
1분 소요 51 조회