LLM 레딧
모델들이 갑자기 둔해졌나? LocalLLaMA는 'silent downgrade' 감각을 검증 문제로 바꿨다
LocalLLaMA의 열기는 “모델이 멍청해졌다”는 불평에서 끝나지 않고, provider routing과 quantization, peak-time behavior를 어떻게 측정할지로 번졌다. thread는 확정 증거보다 community가 느끼는 품질 불안의 크기를 보여준다.
1분 소요 45 조회
태그
#benchmarks
#benchmarks 태그가 달린 기사
LLM 해커뉴스
Claude Opus 4.7, HN은 benchmark보다 adaptive thinking과 신뢰 회복을 먼저 봤다
HN 댓글의 열기는 새 model 이름보다 adaptive thinking, token 변화, safety filter가 실제 개발 흐름을 흔들지에 몰렸다. Opus 4.7은 높은 기대와 동시에 최근 Claude 품질 논쟁의 후폭풍을 맞고 있다.
1분 소요 36 조회
AI X/Twitter
Cursor agent, NVIDIA Blackwell CUDA kernel을 3주 만에 38% 가속
coding agent가 단순 PR 보조를 넘어 GPU kernel 최적화까지 들어갔다. Cursor는 NVIDIA와의 실험에서 235개 CUDA 문제를 3주간 풀어 38% geomean speedup을 냈다고 밝혔다.
1분 소요 47 조회
LLM 레딧
Claude가 더 조심스러워졌다는 체감, Reddit이 숫자로 붙잡아 보려 한 글
r/artificial이 이 글에 반응한 이유는 Claude가 건조하고 회피적으로 변했다는 막연한 불만을 구체적인 숫자로 바꿔 놨기 때문이다. 공식 벤치마크는 아니지만, 그래서 오히려 현업 사용자의 필드 리포트처럼 읽혔다.
2분 소요 39 조회
LLM
LiteCoder, Terminal Bench Pro 31.5%로 코드 agent를 끌어올렸다
LiteCoder가 terminal 특화 모델만 내놓은 것이 아니라 11,255개 trajectory와 602개 Harbor 환경까지 함께 풀었다. 30B 모델은 Terminal Bench Pro에서 Pass@1 31.5%를 기록해 preview의 22.0%에서 크게 올라왔고, 작은 코드 agent도 아직 더 밀어 올릴 여지가 있다는 주장을 숫자로 뒷받침한다.
2분 소요 41 조회
AI 해커뉴스
Hacker News에서 주목한 Berkeley 경고: 주요 AI agent benchmark는 score hacking에 취약하다
520점과 132개 댓글을 모은 Hacker News 스레드에서 Berkeley 연구진은 8개 주요 AI agent benchmark가 실제 해결 없이도 harness 취약점으로 거의 만점에 가까운 score를 만들 수 있다고 주장했다.
1분 소요 43 조회
LLM 레딧
LocalLLaMA 벤치마크, Gemma 4 31B speculative decoding 평균 29% 속도 향상 보고
r/LocalLLaMA의 새 벤치마크는 Gemma 4 31B와 E2B draft 조합에서 speculative decoding이 평균 29%, code 생성에서는 약 50%의 속도 향상을 낼 수 있다고 전했다.
2분 소요 51 조회
AI 해커뉴스
Berkeley는 왜 AI agent benchmark 숫자를 믿기 어렵다고 말하나
UC Berkeley 연구진은 주요 AI agent benchmark 8종을 감사한 결과, 실제 문제를 풀지 않고도 거의 만점에 가까운 점수를 만들 수 있었다고 밝혔다. 글의 핵심은 leaderboard 수치보다 evaluation 설계와 공격 저항성을 먼저 보라는 것이다.
1분 소요 37 조회
LLM 레딧
LocalLLaMA 화제: 듀얼 RTX PRO 6000 Blackwell에서 Qwen3.5-122B 198 tok/s 검증
LocalLLaMA에서 주목받은 글은 SGLang b12x+NEXTN, PCIe switch topology, 공개 raw benchmark JSON을 바탕으로 듀얼 RTX PRO 6000 Blackwell에서 Qwen3.5-122B NVFP4가 약 198 tok/s를 기록했다고 공유했다.
2분 소요 50 조회
LLM 레딧
Gemma 4와 Qwen 3.5를 블라인드로 비교한 LocalLLaMA 실험, “승률과 평균점수가 갈렸다”
Gemma 4 31B, Gemma 4 26B-A4B, Qwen 3.5 27B를 30문항으로 비교한 LocalLLaMA 실험은 단일 우승자를 내지 않았다. Qwen은 더 많은 matchups를 이겼지만, Gemma는 더 안정적인 평균점수를 기록했고 reliability와 verbosity trade-off가 핵심 변수로 떠올랐다.
2분 소요 38 조회
LLM X/Twitter
Cursor, 사전학습 연장부터 실제 워크플로 RL까지 Composer 2 학습 스택 공개
Cursor는 2026년 3월 26일 real-time RL을 통해 5시간마다 개선된 checkpoint를 배포할 수 있다고 밝혔다. Cursor의 3월 27일 technical report는 Composer 2가 Kimi K2.5 기반 continued pretraining과 realistic Cursor session에서의 대규모 RL을 결합하며, CursorBench 61.3, SWE-bench Multilingual 73.7, Terminal-Bench 61.7을 기록했다고 설명한다.
2분 소요 49 조회
LLM 레딧
LocalLLaMA 화제: Gemma 4 31B의 FoodTruck Bench 약진을 둘러싼 논쟁
LocalLLaMA 스레드가 Gemma 4 31B의 예상 밖 FoodTruck Bench 성과를 끌어올렸다. 토론은 곧 장기 계획 능력과 benchmark 신뢰성 문제로 이어졌다.
2분 소요 48 조회