카테고리
Insights의 LLM 기사
MegaTrain은 parameters와 optimizer states를 host memory에 두고 layer를 GPU로 streaming하는 방식으로, 단일 GPU에서 100B+ 파라미터 LLM의 full precision 학습을 겨냥한다. 최근 Hacker News에서 이 논문이 주목받은 이유는 training bottleneck을 GPU 수량이 아니라 memory system 설계 문제로 다시 정의하기 때문이다.
r/LocalLLaMA의 한 self-post가 2x H200 위에서 GPT-OSS-120B를 굴리며 하루 10억 토큰 이상을 처리하는 내부 serving stack을 공개했다. vLLM, LiteLLM, mxfp4, queueing 병목까지 포함한 구체적 운영 수치가 커뮤니티의 관심을 끌고 있다.
Anthropic는 2026년 4월 7일 Claude Mythos Preview의 security 평가를 공개하며 major OS와 browser 전반의 zero-day 탐지·exploit 능력을 강조했다. Hacker News에서는 frontier LLM이 defensive tooling과 offensive risk를 동시에 밀어올리는 전환점으로 읽히고 있다.
r/LocalLLaMA에서 빠르게 퍼진 Unsloth Gemma 4 가이드는 Gemma-4-E2B와 E4B를 8GB VRAM으로 로컬 fine-tuning할 수 있다고 주장한다. 게시물은 약 1.5배 빠른 학습, FA2 대비 약 60% 적은 VRAM, 그리고 초기 Gemma 4 training·inference bug fix를 함께 묶어 practical workflow로 제시한다.
Hacker News에서 주목한 Z.ai의 GLM-5.1은 one-shot 성능보다 오래 버티는 agentic work를 전면에 세운다. Z.ai는 SWE-Bench Pro 58.4, NL2Repo 42.7, Terminal Bench 2.0 66.5를 제시했고, 수백 번 iteration과 수천 번 tool call을 거쳐 계속 개선되는 long-horizon 실험도 함께 공개했다.
GitHub Changelog의 2026년 3월 19일 X 게시물은 GPT-5.3-Codex가 Copilot Business와 Copilot Enterprise용 첫 long-term support 모델이 됐다고 밝혔다. GitHub는 이 모델이 2026년 2월 5일 출시됐고 2027년 2월 4일까지 유지되며, 2026년 5월 17일까지 새로운 base model로 전환된다고 설명한다.
GitHub Changelog는 2026년 4월 3일 X 게시물에서 GPT-5.1 Codex, GPT-5.1-Codex-Max, GPT-5.1-Codex-Mini가 4월 1일부로 모든 Copilot surface에서 deprecated됐다고 밝혔다. GitHub는 조직이 workflow와 model policy를 지원 모델로 옮겨야 하며, 대안으로 GPT-5.3-Codex를 제시했다.
GitHub Changelog의 2026년 4월 7일 X 게시물은 Copilot CLI가 이제 GitHub-hosted routing 대신 Azure OpenAI, Anthropic, 기타 OpenAI-compatible endpoint나 완전 로컬 models를 사용할 수 있다고 밝혔다. GitHub changelog는 offline mode에서 telemetry가 비활성화되고, provider 자격 증명만으로 unauthenticated use가 가능하며, built-in sub-agents도 같은 provider 설정을 상속한다고 설명한다.
LocalLLaMA 스레드는 speculative decoding용 block-diffusion draft model인 DFlash에 관심을 모았다. 논문은 6x 이상의 lossless acceleration과 vLLM, SGLang, 일부 Transformers backend 지원을 내세운다.
117포인트를 받은 LocalLLaMA 글은 반복 업무를 감시해 agent가 실행할 수 있는 Skill로 바꾸고, Codex·Claude Code 등과 MCP로 연결하는 Mac 메뉴바 앱 AgentHandover를 조명했다.
약 350포인트를 받은 LocalLLaMA 글은 Gemma 4 26B A3B가 적절한 runtime 설정과 함께할 때 로컬 coding-agent·tool-calling 워크플로에서 유난히 강하게 느껴진다고 주장한다. 작성자는 다른 로컬 모델 스택에서 겪었던 prompt caching과 function calling 문제와 대비해 이를 설명했다.
약 240포인트를 받은 Hacker News 스레드는 Anthropic이 2027년부터 Google·Broadcom과 함께 multiple gigawatts 규모의 차세대 TPU capacity를 확보한다고 밝힌 4월 6일 발표에 주목했다. 동시에 run-rate revenue 300억 달러 돌파와 연간 100만 달러 이상을 쓰는 기업 고객 1,000곳 이상이라는 수치도 함께 화제가 됐다.