카테고리
Insights의 LLM 기사
Vercel은 2026년 3월 19일 내부 agent 배포에서 드러난 채팅 플랫폼 통합 병목을 줄이기 위해 Chat SDK를 만들었다고 밝혔다. 공식 글은 이 도구를 Slack, Teams, Google Chat, Discord, Telegram, GitHub, Linear, WhatsApp까지 단일 코드베이스로 연결하는 오픈소스 public beta TypeScript 라이브러리로 설명한다.
Together AI는 2026년 3월 19일 fine-tuning 서비스가 tool calling, reasoning, vision-language model 학습을 지원하고 MoE 아키텍처에서 최대 6배 높은 처리량을 낸다고 밝혔다. 공식 글은 최대 1T 파라미터급 모델 지원 방향과 함께 100GB 데이터셋, 사전 비용 추정, 학습 중 ETA 제공을 설명한다.
Cloudflare는 2026년 3월 20일 Kimi K2.5를 Workers AI에 올려 Cloudflare 개발자 플랫폼 위에서 end-to-end agent를 구축·운영할 수 있다고 밝혔다. 공식 블로그는 256k context, multi-turn tool calling, vision inputs, structured outputs와 함께, 내부 보안 검토 agent가 하루 7B 토큰을 처리하면서 비용을 77% 줄였다고 설명한다.
OpenAI Developers는 2026년 3월 21일 skills·hosted shell·code interpreter용 컨테이너 기동이 새 container pool 덕분에 약 10배 빨라졌다고 밝혔다. 업데이트된 hosted shell 문서는 `container_auto`와 `container_reference`를 통해 활성 컨테이너를 재사용할 수 있고, 20분 비활성 상태 후 만료된다고 설명한다.
r/LocalLLaMA의 고신호 benchmark 글은 Qwen 3.5 27B를 mainline llama.cpp에서 ik_llama.cpp로 바꾸자 Blackwell RTX PRO 4000에서 prompt evaluation이 약 43 tok/sec에서 1,122 tok/sec로 뛰었고, generation도 7.5 tok/sec에서 26 tok/sec로 올라갔다고 전했다.
새 r/LocalLLaMA 스레드는 multi-hop QA의 병목이 retrieval이 아니라 reasoning일 수 있다는 Graph-RAG 결과를 끌어올렸다. structured prompting과 graph-based context compression을 결합하면 Llama 8B가 plain 70B baseline에 맞설 수 있다는 주장이 핵심이다.
r/LocalLLaMA의 새 스레드는 NVIDIA의 Nemotron-Cascade-2-30B-A3B가 중형 Qwen 3.5 계열보다 더 강한 coding 결과를 낼 수 있다고 주장하며 주목을 끌었다. community benchmark와 NVIDIA의 model card를 함께 보면, local inference 비용과 reasoning 성능 사이의 새로운 균형점을 찾으려는 흐름이 읽힌다.
2026년 3월 21일 Hacker News에서 다시 부각된 tinygrad의 tinybox는 local training과 inference를 겨냥한 120B급 offline AI workstation 구성을 전면에 내세웠다. 구체적인 GPU 사양과 가격이 함께 공개되면서 on-prem AI 수요를 어떻게 제품화할지에 대한 관심이 커졌다.
GitHub은 AI coding agent가 commit이나 pull request 이전에 GitHub MCP Server를 통해 secret scanning을 호출할 수 있다고 밝혔다. 이 기능은 GitHub Secret Protection이 활성화된 repository를 대상으로 public preview로 제공된다.
Google은 Docs, Sheets, Slides, Drive 전반에 Gemini를 확장해 초안 작성, 스프레드시트·프레젠테이션 생성, Drive 기반 citation 답변 기능을 추가했다. 회사는 Gemini in Sheets가 SpreadsheetBench에서 70.48%를 기록했다고도 밝혔다.
Ollama는 2026년 3월 18일 MiniMax-M2.7을 cloud 경로로 제공하며 Claude Code와 OpenClaw에서 바로 실행할 수 있다고 밝혔다. Ollama 라이브러리 페이지는 이 모델을 coding·agent workflow·professional productivity용 모델로 소개하며 SWE-Pro, VIBE-Pro, Terminal Bench 2, GDPval-AA, Toolathon 성적을 함께 제시한다.
r/LocalLLaMA에서 주목받은 mlx-lm PR #990은 Qwen3.5의 built-in MTP head를 native speculative decoding에 활용해 15.3 -> 23.3 tok/s (~1.5x throughput boost), ~80.6% acceptance rate를 제시했다. 다만 converted checkpoint, batching 비활성화, MoE 미검증 같은 운영상 제약도 함께 확인해야 한다.