LLM X/Twitter
OasisKV, 장문 LLM 서빙의 KV 메모리 6.5~9.7배 줄이고 처리량은 최대 2.1배로
KV 캐시 전체를 HBM에 두지 않는 OasisKV가 장문 LLM 서빙의 메모리 병목을 겨냥했다. 요청당 KV 요구량을 6.5~9.7배 줄이면서 다중 GPU 처리량을 최대 2.1배 높였다.
2분 소요 13 조회
태그
#inference
#inference 태그가 달린 기사
LLM X/Twitter
Mobius, 지식·추론 분리로 7B 학습량 62.6% 줄이고 속도는 약 4배까지 끌어올려
지식 저장과 추론 연산을 분리한 Mobius가 7B Transformer와 비슷한 성능을 학습 데이터 62.6%로 달성했다. Qwen3.5-35B에서 이어 학습한 버전은 종단 간 추론 속도를 약 4배 높였다.
2분 소요 13 조회
LLM 해커뉴스
Qwen3.8-27B, 27B 로컬 모델의 성능보다 먼저 나온 질문 ‘왜 이렇게 오래 생각하나’
27B 모델이 노트북에서도 까다로운 추론과 코딩을 해냈다는 경험담이 이어졌지만, 관심은 곧 긴 추론 시간과 VRAM 비용으로 옮겨갔다. Qwen3.8-27B의 진짜 시험대는 벤치마크보다 reasoning_effort를 어떻게 다루느냐에 가깝다.
2분 소요 13 조회
LLM X/Twitter
NVIDIA, 128K 컨텍스트 시대엔 커널보다 attention 구조가 병목
긴 컨텍스트 모델의 속도는 학습 전 attention 설계에서 사실상 결정된다. NVIDIA는 4K에서 128K로 갈수록 attention 비중이 18%에서 85%까지 커진다고 설명했다.
1분 소요 19 조회
LLM X/Twitter
GPT-5.6 Sol, 서빙 비용 20% 절감과 토큰 효율 15% 개선을 만든 내부 최적화
모델 성능 경쟁이 추론 비용 경쟁으로 옮겨가고 있다. OpenAI는 GPT-5.6 Sol을 배포 뒤 자체 최적화에 투입해 서빙 비용 20% 절감, 토큰 생성 효율 15% 이상 개선을 얻었다고 밝혔다.
2분 소요 21 조회
LLM 해커뉴스
Kimi-K3 공개, 3T open-weight 모델의 비용 논점
Kimi-K3는 단순한 모델 공개보다 운영비와 커스터마이징 가능성 때문에 HN 논의가 커졌다.
1분 소요 18 조회
LLM X/Twitter
NVIDIA ModelExpress, DeepSeek-V4 Pro 기동 시간을 8분에서 1분대로 단축
대형 모델 서빙의 병목이 가중치 이동으로 좁혀졌다. NVIDIA는 ModelExpress로 DeepSeek-V4 Pro 시작 시간을 8분에서 1분 44초 수준으로 줄였다고 밝혔다.
1분 소요 23 조회
LLM 해커뉴스
GLM-5.2를 느린 PC에서 돌리는 Colibri, Local AI의 병목은 GPU만이 아닌 이유
744B MoE 모델을 소비자용 PC에서 돌리겠다는 실험에 관심이 모였다. Colibri는 GLM-5.2의 활성 파라미터와 전문가 라우팅 구조를 이용해, 거대한 모델을 전부 RAM이나 GPU에 올리지 않는 쪽으로 설계를 잡았다.
1분 소요 26 조회
LLM 레딧
GLM5.2 집에서 돌리기, LocalLLaMA가 본 진짜 비용은 GPU 숫자
5개의 RTX PRO 6000과 5090까지 동원한 실험은 로컬 LLM의 낭만보다 전력, VRAM, 예산의 현실을 더 선명하게 보여줬다.
1분 소요 21 조회
AI
Etched, 작동 칩·$1B 계약으로 추론 ASIC 경쟁 본격화
작동하는 칩, $800M 누적 조달, $1B 이상 고객 계약이 한 번에 공개됐다. Etched의 메시지는 명확하다. AI 인프라 병목이 학습용 GPU 확보에서 대규모 추론을 싸고 빠르게 처리하는 시스템 경쟁으로 이동하고 있다.
1분 소요 23 조회
AI
Together AI, $800M 조달로 오픈소스 AI 인프라 격차 확대
$800M 시리즈C와 $8.3B 기업가치는 오픈소스 모델 운영 비용을 낮추는 인프라 경쟁이 본게임에 들어섰다는 신호다. Together AI는 지난 분기 annual bookings가 $1.15B를 넘었고, 향후 5년간 인프라 용량을 약 50배 키우겠다고 제시했다.
1분 소요 22 조회
AI X/Twitter
NVIDIA 내부 추론 허브, 100개 넘는 AI 모델을 단일 API로 운영
기업 AI 도입의 병목이 모델 부족에서 운영 복잡도로 이동하고 있다. NVIDIA는 내부 Enterprise Inference Hub가 100개 넘는 모델 엔드포인트와 매주 수조 토큰 규모의 사용을 처리한다고 밝혔다.
1분 소요 29 조회