LLM 레딧
LocalLLaMA, K=64 커널 패치로 Blackwell 워크스테이션의 Qwen3.5-397B 추론 개선 주장
2026년 3월 14일 LocalLLaMA 글은 SM120 Blackwell 워크스테이션용 CUTLASS·FlashInfer 패치를 소개하며, Qwen3.5-397B NVFP4 추론 속도 개선과 FlashInfer PR #2786을 함께 제시했다.
2분 소요 48 조회
카테고리
LLM
Insights의 LLM 기사
LLM 레딧
r/LocalLLaMA: StepFun, Step 3.5 Flash 학습에 쓴 SFT dataset 공개
StepFun는 단순 model card 수준을 넘어서 Step-3.5-Flash-SFT dataset를 Hugging Face에 공개했다. 이 repo는 raw JSON data, tokenizer snapshot, StepTronOSS용 compiled shard를 함께 제공하며, Reddit 토론은 reproducibility, reasoning trace, dual-license 구조의 의미에 집중됐다.
2분 소요 35 조회
LLM 레딧
r/LocalLLaMA: 문서 분류 워크로드에서 Qwen 3.5 27B가 약 2000 TPS 기록
r/LocalLLaMA의 한 현장 보고는 매우 구체적인 local inference workload를 throughput 중심으로 튜닝한 사례를 보여줬다. 작성자는 Qwen 3.5 27B로 markdown 문서를 분류하면서 약 2,000 tokens per second를 기록했다고 했고, 댓글에서는 실전 최적화 포인트가 추가로 논의됐다.
2분 소요 38 조회
LLM 해커뉴스
HN: Anthropic, Opus 4.6·Sonnet 4.6에 1M context를 기본 가격으로 확대
Anthropic는 Opus 4.6과 Sonnet 4.6에 1M context를 general availability로 제공하고, long-context premium 없이 기본 가격을 적용한다고 밝혔다. Hacker News에서는 단순 사양 증가보다 실제 배포 economics 변화에 더 큰 관심이 모였다.
2분 소요 42 조회
LLM
Google, Docs·Sheets·Slides·Drive 전반으로 Gemini 확장... Workspace 작성 속도 강화
Google는 Google AI Ultra·Pro subscribers를 대상으로 Docs, Sheets, Slides, Drive용 Gemini beta 기능 rollout을 시작한다. Gemini가 파일·이메일·웹을 바탕으로 작업물을 만들고 편집할 수 있게 되며, Drive에는 AI Overview와 Ask Gemini 기능이 추가된다.
2분 소요 47 조회
LLM X/Twitter
Perplexity, Agent API에 Sandbox 실행 환경 추가… standalone service로도 제공
Perplexity는 March 11, 2026에 Sandbox API를 Agent API tool이자 standalone service로 제공하겠다고 밝혔다. 기존 문서가 Agent API를 명시적 tool configuration을 갖춘 multi-provider interface로 설명하고 있는 만큼, 이번 업데이트는 code execution을 orchestration의 핵심 primitive 쪽으로 끌어온다.
2분 소요 38 조회
LLM X/Twitter
Together AI, Open Deep Research v2 공개… dataset·code·multi-step research workflow 오픈소스화
Together AI는 March 13, 2026에 Open Deep Research v2를 fully free & open source로 공개했다고 밝혔다. 함께 공개된 blog는 multi-hop web research를 위한 planner와 self-reflection workflow, 그리고 code 및 evaluation asset을 설명한다.
2분 소요 44 조회
LLM 레딧
r/MachineLearning, COCONUT의 “latent reasoning”이 architecture보다 curriculum 효과인지 문제 제기
r/MachineLearning의 한 글은 Meta의 COCONUT 성과가 recycled hidden state 자체보다 curriculum 설계와 sequential processing에서 왔을 가능성이 크다고 주장한다.
3분 소요 32 조회
LLM 레딧
LocalLLaMA, safety-critical 소프트웨어용 14B Ada 코딩 모델에 주목
r/LocalLLaMA의 한 글은 QLoRA로 조정한 14B Qwen coder가 Ada compilation 작업에서 frontier proprietary model보다 높은 수치를 냈다고 주장하며, niche 언어용 전문 코딩 모델의 가능성을 보여줬다.
2분 소요 38 조회
LLM 해커뉴스
Hacker News, maintainer merge rate 기준으로 본 LLM 코딩 성능 정체론을 토론
Hacker News에서는 2026년 3월 12일 올라온 분석 글을 계기로, LLM 코딩 성능이 SWE-bench test 통과율보다 maintainer merge 기준에서 훨씬 약하게 보인다는 문제의식이 확산됐다.
2분 소요 49 조회
LLM
Ares 논문, LLM agent 추론 비용 최대 52.7% 절감 제시
2026년 3월 9일 제출된 arXiv 논문 Ares는 multi-step LLM agent에서 단계별 reasoning effort를 동적으로 조절하는 방식을 제안했다. 저자들은 fixed high-effort 대비 reasoning token 사용량을 최대 52.7% 줄이면서 성공률 저하는 작았다고 보고했다.
2분 소요 41 조회
LLM
IBM Granite 4.0 1B Speech 공개... 소형 다국어 음성 모델로 edge 배치 겨냥
IBM은 2026년 3월 9일 Granite 4.0 1B Speech를 공개했다. 절반 수준의 파라미터로 이전 모델보다 더 높은 영어 전사 정확도, speculative decoding 기반 빠른 추론, 일본어를 포함한 다국어 지원을 제공한다고 밝혔다.
2분 소요 39 조회