중요한 점은 FP8 추론이 품질 붕괴를 고칠 수 있어야만 값어치를 가진다는 데 있다. vLLM는 two-level accumulation 변경으로 128k needle-in-a-haystack 정확도를 13%에서 89%까지 끌어올리면서 FP8 decode 속도 이점은 유지했다고 적었다.

2026년 4월 28일 2분 소요 40

#vllm #fp8 #inference

LLM 레딧

16GB VRAM의 탈출구? LocalLLaMA가 꺼낸 “묵은 GPU 한 장” 해법

LocalLLaMA가 이 글에 반응한 이유는 명확했다. 27B 모델을 두 장의 제각각인 GPU VRAM 안에만 가둘 수 있다면, 느린 보조 카드라도 시스템 RAM으로 쏟아지는 것보다는 낫다는 아주 실용적인 주장 때문이었다.

2026년 4월 28일 2분 소요 43

#local-llms #vram #multi-gpu

LLM 레딧

1930년에 멈춘 13B 모델 Talkie, r/singularity가 꽂힌 이유

r/singularity는 이 아이디어에 바로 반응했다. 1930년 이전 텍스트만 학습한 13B 모델이라는 설정이 신기해서만이 아니다. Talkie가 현대 웹 오염 없이 모델이 무엇을 배우는지 볼 수 있는 실험실처럼 읽혔기 때문이다.

2026년 4월 28일 2분 소요 26

#talkie #language-models #historical-data

LLM 해커뉴스

10시간 비행기 오프라인 LLM 실험, HN이 본 건 전력·발열·루프의 현실

Hacker News가 꽂힌 지점은 여행 감성이 아니었다. 배터리가 분당 1% 가까이 줄고, 노트북이 무릎 위에서 버거워질 만큼 뜨거워지며, 긴 문맥과 에이전트 루프가 금방 한계를 드러낸다는 현실 쪽이었다.

2026년 4월 28일 2분 소요 44

#local-llms #macbook #offline

LLM

GitHub Copilot 클라우드 에이전트, 기동 20% 단축… 대기시간 승부

에이전트 제품의 첫 인상은 모델 답변이 아니라 기다림에서 갈린다. GitHub는 Copilot 클라우드 에이전트 기동 시간이 20% 이상 짧아졌고, 이는 3월의 50% 개선에 이어 나온 후속 최적화라고 설명했다.

2026년 4월 28일 1분 소요 46

#github #copilot #agents

LLM 레딧

로컬 코딩 모델 38.2%, LocalLLaMA가 본 건 점수보다 배치 가능성

LocalLLaMA가 뜨거웠던 이유는 절대 점수만이 아니었다. 2026년 4월 28일 올라온 이 글은 Qwen 3.6-27B의 Terminal-Bench 2.0 38.2%를 late-2025 frontier 수준과 연결했고, 그 순간 로컬 코딩은 장난감이 아니라 배치 옵션으로 읽히기 시작했다.

2026년 4월 28일 2분 소요 46

#qwen #terminal-bench #local-llms

LLM 레딧