LLM 레딧
q8_0이면 거의 공짜라는 통념, LocalLLaMA가 깨뜨린 KV 캐시 데이터
LocalLLaMA가 반응한 이유는 단순한 수치 비교가 아니었다. 많은 로컬 추론 사용자가 사실상 상식처럼 받아들이던 규칙을 정면으로 건드렸고, 특히 Gemma 쪽에서 모델별 차이가 크다는 점을 보여 줬기 때문이다. 2026년 4월 25일 크롤링 시점 기준 스레드는 324점, 58댓글이었다.
2분 소요 41 조회
태그
#benchmarks
#benchmarks 태그가 달린 기사
LLM 레딧
27B가 여기까지 왔나, LocalLLaMA가 Qwen3.6에 술렁인 이유
LocalLLaMA가 이 글을 밀어 올린 이유는 모두가 벤치마크를 믿어서가 아니다. 27B 오픈 모델이 에이전트형 작업에서 갑자기 경쟁권으로 들어온 듯 보였고, 그래서 더 중요해 보이면서도 동시에 더 수상해 보이는 결과가 토론을 키웠다.
2분 소요 49 조회
LLM
Sakana Fugu 베타 개시, SWEPro 54.2·GPQAD 95.1로 멀티에이전트 승부
Sakana AI가 여러 모델을 묶는 오케스트레이션을 연구 개념이 아니라 상용 API 상품으로 꺼냈다. 베타 수치만 보면 fugu-ultra는 SWEPro 54.2, GPQAD 95.1로 GPT 5.4 high와 Gemini 3.1 high를 각각 앞서는 구간을 만들었다.
2분 소요 39 조회
LLM 레딧
OCR에서 비싼 최신 모델이 늘 답은 아니라는 결과, r/MachineLearning 반응
r/MachineLearning이 이 글에 주목한 이유는 “누가 1등인가”보다 “문서 추출에서 너무 비싼 모델을 습관처럼 쓰고 있지 않나”를 숫자로 건드렸기 때문이다. 반복 실행, cost-per-success, critical-field 정확도까지 붙으면서 비용 논쟁이 한층 구체화됐다.
2분 소요 39 조회
LLM 레딧
Qwen3.6-35B보다 더 크게 번진 것, LocalLLaMA가 본 scaffold 문제
LocalLLaMA를 흔든 건 단순한 Qwen 점수 상승이 아니었다. 같은 계열 로컬 모델이 scaffold 변경만으로 19%에서 45%, 다시 78.7%까지 올라갔다는 서사가 붙으면서, 벤치마크 비교 자체를 다시 봐야 한다는 분위기가 퍼졌다.
2분 소요 48 조회
AI X/Twitter
ParseBench, Kaggle에 2,000개 기업 문서·16.7만 OCR 규칙 공개…에이전트용 검증판
중요한 점은 enterprise OCR failure가 academic PDF benchmark보다 훨씬 먼저 agent를 망가뜨린다는 데 있다. LlamaIndex는 ParseBench가 사람 검증을 거친 약 2,000개 페이지와 16만7천 개가 넘는 규칙으로 14개 방법을 Kaggle에서 비교한다고 적었다.
2분 소요 51 조회
LLM X/Twitter
Qwen3.6-27B, 397B급 이전 모델 넘고 Apache 2.0으로 공개…코딩 특화 27B dense
중요한 점은 open-weight 27B dense 모델이 훨씬 큰 코딩 시스템과 agent task에서 직접 비교되고 있다는 데 있다. Qwen 모델 카드는 Qwen3.6-27B의 SWE-bench Verified를 77.2, Qwen3.5-397B-A17B를 76.2로 적었고 라이선스는 Apache 2.0이다.
2분 소요 44 조회
LLM X/Twitter
GPT-5.5, Artificial Analysis서 3점 차 1위…벤치 실행 비용은 20% 상승
중요한 점은 GPT-5.5 출시 직후 나온 첫 외부 benchmark readout 가운데 하나라는 점이다. Artificial Analysis는 GPT-5.5가 자사 Intelligence Index에서 3점 차 선두로 올라섰지만 전체 지수 실행 비용은 여전히 약 20% 비싸졌다고 적었다.
2분 소요 49 조회
LLM X/Twitter
Cohere W4A8, vLLM Hopper에서 first-token latency 58% 단축 주장
중요한 점은 inference cost가 이제 infrastructure 문제가 아니라 product constraint가 됐다는 데 있다. Cohere는 vLLM의 W4A8 path가 Hopper에서 W4A16 대비 TTFT 최대 58%, TPOT 최대 45% 빠르다고 밝혔다.
1분 소요 45 조회
AI X/Twitter
OpenAI Clinicians 무료 제공, 6,924건 검증과 HealthBench Professional
중요한 점은 OpenAI가 정확성 claim이 실제 clinical consequence로 이어지는 regulated workflow를 직접 겨냥한다는 데 있다. 연결된 rollout은 physician review 6,924 conversations와 99.6% safe/accurate rating을 제시했다.
1분 소요 45 조회
LLM X/Twitter
Perplexity, Qwen SFT+RL로 GPT factuality 비용 곡선 추월 주장
중요한 점은 검색형 AI가 유창한 답변보다 factuality와 citation 품질로 평가된다는 데 있다. Perplexity는 SFT + RL pipeline으로 Qwen model이 더 낮은 비용에서 GPT model의 factuality를 맞추거나 앞선다고 주장했다.
1분 소요 48 조회
LLM
Qwen3.6-Max-Preview, coding benchmark 상위권에도 cloud-only
Alibaba의 4월 22일 Qwen3.6-Max-Preview post는 여섯 개 coding benchmark top score와 Qwen3.6-Plus 대비 개선을 내세운다. 다만 핵심 caveat도 분명하다. 이번 model은 open-weight release가 아니라 hosted proprietary preview다.
2분 소요 43 조회