LLM X/Twitter
GLM 5.2, Vibe Code Bench 64%로 오픈웨이트 코딩 격차를 좁힌 새 기준
오픈웨이트 모델의 코딩 성능 경쟁이 새 기준선을 넘었다. Vals AI는 GLM 5.2가 Vibe Code Bench v1.1에서 64%를 기록해 다른 오픈웨이트 모델보다 최소 14%포인트 앞섰다고 밝혔다.
1분 소요 31 조회
태그
#benchmark
#benchmark 태그가 달린 기사
과학 X/Twitter
LifeSciBench 750개 생명과학 과제, AI 연구 평가 기준을 현장형으로 전환
생명과학 AI 평가가 실제 연구 업무에 가까워졌다. OpenAI는 바이오·제약 연구자 173명과 만든 750개 전문가 과제로 모델이 문헌 검토, 실험 설계, 분석 흐름을 얼마나 지원하는지 보겠다고 밝혔다.
1분 소요 33 조회
LLM
AgentPerf 첫 공개, GB300이 H200보다 MW당 coding agent 20배 처리
AI agent 인프라 경쟁이 토큰 처리량이 아니라 동시 작업 수와 전력 효율로 옮겨가고 있다. NVIDIA는 Artificial Analysis의 새 AA-AgentPerf에서 GB300 NVL72가 H200보다 MW당 동시 coding agent 처리량을 최대 20배 높였다고 밝혔다.
1분 소요 39 조회
LLM X/Twitter
Claude Fable 5, GDPval-AA 1932점으로 에이전트 업무 벤치마크 선두
Claude Fable 5가 GDPval-AA 1932점으로 에이전트형 지식 업무 벤치마크 1위에 올랐다. Anthropic 모델이 상위 4개 중 3개를 차지했다는 점은 장시간 업무형 모델 경쟁이 성능표 중심으로 재편되고 있음을 보여준다.
1분 소요 34 조회
LLM 해커뉴스
FrontierCode, “테스트 통과”보다 “merge할 코드인가”를 묻는 평가
코딩 모델 평가가 정답률에서 코드 리뷰 품질로 옮겨가고 있다는 점에 HN 관심이 모였다. FrontierCode는 PR을 실제 maintainer가 받아들일지에 초점을 둔다.
1분 소요 36 조회
과학 X/Twitter
Claude Opus 4.7, NMR 20개 화합물 평가에서 전문 도구와 정면 비교
NMR 구조 해석은 합성화학의 병목인데, Anthropic은 Opus 4.7이 20개 화합물 평가에서 ChemDraw·MestReNova와 경쟁했다고 밝혔다. 수소 NMR 평균 오차는 약 ±0.079 ppm이었다.
1분 소요 40 조회
LLM X/Twitter
Opus 4.8, ARC-AGI-3에서 1.5%·약 $10K로 새 SOTA 기록
ARC Prize가 Opus 4.8을 ARC-AGI-3 새 SOTA로 기록하며 benchmark 경쟁의 기준을 다시 낮은 숫자로 보여줬다. 점수는 1.5%, 비용은 약 $10K로, 향상은 분명하지만 일반 지능과는 아직 거리가 있다.
1분 소요 40 조회
LLM 해커뉴스
Liquid AI, 38조 토큰 학습 MoE 모델 공개
Liquid AI가 38조 토큰으로 학습한 8B-A1B MoE 모델 LFM2.5를 공개했다. M5 Max에서 초당 253토큰, 모바일에서 30토큰, H100에서 초당 1만 8500토큰의 추론 성능을 자랑하며 동급 밀집 모델을 상회한다.
1분 소요 36 조회
LLM X/Twitter
Opus 4.8, GDPval-AA에서 GPT-5.5보다 121점 앞선 첫 외부 벤치마크
Claude Opus 4.8의 강점이 코딩 벤치마크를 넘어 실제 업무형 에이전트 평가로 확장됐다. Artificial Analysis는 max effort 기준 1890점을 기록해 GPT-5.5 xhigh보다 121점 앞섰다고 밝혔다.
1분 소요 34 조회
LLM X/Twitter
DeepSWE 113개 과제, 코딩 에이전트 격차를 70% 대 54%로 벌린 새 평가 벤치마크
오염 없는 113개 장기 코딩 과제가 공개 벤치마크의 촘촘한 순위를 흔들었다. DeepSWE에서는 GPT-5.5가 70.0%, Claude Opus 4.7이 54.2%를 기록했다.
1분 소요 31 조회
LLM
Google I/O 2026: 개인 AI 에이전트 Gemini Spark 등장과 Gemini 3.5 Flash 성능 공개
Google이 5월 19일 Google I/O 2026에서 개인 AI 에이전트 Gemini Spark와 Gemini 3.1 Pro를 모든 벤치마크에서 앞서는 Gemini 3.5 Flash를 동시 공개했다. Spark는 기기가 꺼진 상태에서도 24시간 작동하며 Gmail 직접 이메일·크롬 웹 작업까지 처리하는 상시 에이전트로, 다음 주 미국 AI Ultra 구독자부터 베타 제공된다.
2분 소요 37 조회
AI 해커뉴스
3D 모델링 LLM 벤치마크, Google Antigravity 2.0 자율 도구 중 1위
ModelRift가 6개 AI 코딩 도구를 OpenSCAD 파르테논 모델링 과제로 비교한 결과, Google I/O 2026에서 공개된 Antigravity 2.0이 자율 실행 품질 4.5/5로 선두를 차지했습니다. 내부 격자 천장까지 구현한 유일한 도구였습니다.
1분 소요 40 조회