태그

#benchmark

#benchmark 태그가 달린 기사

LLM 레딧

Qwen 팀, GPQA·HLE 벤치마크 데이터 품질에 심각한 문제 있음을 공식 확인

Qwen 연구팀이 GPQA와 HLE(Humanity's Last Exam) 벤치마크 데이터셋의 품질에 심각한 문제가 있음을 공식 논문을 통해 확인했습니다. OCR 오류, 잘못된 정답, 검증 불가능한 문항들이 포함돼 있어 현재 AI 모델 평가의 신뢰성에 의문이 제기되고 있습니다.

2026년 2월 23일 1분 소요 36

#qwen #benchmark #gpqa

LLM X/Twitter

Google DeepMind, Gemini 3.1 Pro 출시 — ARC-AGI-2 77.1% 달성, 추론 성능 2배 향상

Google DeepMind가 Gemini 3.1 Pro를 출시했다. 전작 대비 추론 성능이 2배 이상 향상됐으며 ARC-AGI-2에서 77.1%를 달성했다. 18개 추적 벤치마크 중 12개에서 1위를 기록하면서 API 가격은 $2/$12로 그대로 유지된다.

2026년 2월 22일 1분 소요 44

#gemini #google-deepmind #llm

LLM 레딧

Claude Opus 4.6, METR 50% 시간 기준 벤치마크에서 14.5시간 달성

Claude Opus 4.6이 METR의 소프트웨어 작업 벤치마크에서 50% 완료 시간 기준으로 약 14.5시간을 달성해 모든 예측을 뛰어넘었습니다. 배가 시간이 3개월 미만으로 측정되며 AI 역량이 지수적으로 성장하고 있음을 보여줍니다.

2026년 2월 22일 1분 소요 36

#claude #anthropic #metr

LLM 해커뉴스

SkillsBench 연구: self-generated Agent Skill은 평균적으로 효과가 없었다

Hacker News에서 주목받은 SkillsBench 논문은 86개 태스크·11개 도메인에서 Agent Skill의 실제 효용을 비교했다. curated skill은 평균 통과율을 크게 끌어올렸지만, 모델이 직접 만든 skill은 평균 개선 효과를 보이지 않았다.

2026년 2월 17일 1분 소요 37

#llm-agents #benchmark #evaluation

과학

OpenAI, 160+ 정치학 저널·100만+ synthetic eval로 사회과학 재현연구 우선순위화

OpenAI는 160개 이상 정치학 저널 논문을 대상으로 100만 건 이상 synthetic evaluation을 수행해 재현연구 후보를 선별하는 방법을 공개했다. 논문 제목·초록 기반 예측과 실제 표본 결과의 불일치를 활용해, 검증 가치가 높은 연구를 찾는 접근이다.

2026년 2월 16일 2분 소요 38

#openai #social-science #reproducibility

LLM 레딧