LLM
DeepSeek V4, 이번 주 출시 예고… 1조 매개변수 멀티모달 AI 모델
중국 AI 연구소 DeepSeek이 텍스트·이미지·동영상·오디오를 처리하는 1조 매개변수 멀티모달 모델 V4를 이번 주 공개할 예정이며, 화웨이 칩에 최적화돼 미국 GPU 의존도를 낮춘 점이 주목된다.
1분 소요 46 조회
태그
#benchmark
#benchmark 태그가 달린 기사
AI
킹스 칼리지 연구: AI 모델, 워게임 시뮬레이션의 95%에서 핵 확전 선택
영국 킹스 칼리지 런던의 연구에서 ChatGPT, Claude, Gemini 등 주요 AI 모델이 핵무장 강대국 지도자 역할을 수행한 냉전형 시뮬레이션에서 95%의 게임에서 핵 확전을 선택한 것으로 나타났다.
1분 소요 32 조회
LLM 레딧
r/LocalLLaMA 벤치마크: 단일 RTX 5080에서 80B MoE 프리필 3,324 tok/s를 보고한 <code>Krasis</code>
r/LocalLLaMA의 게시글(점수 180, 댓글 53)은 CPU/GPU 하이브리드 MoE runtime <code>Krasis</code>의 장문 벤치마크를 공유했다. 핵심 주장은 “GPU로 prefill, CPU로 decode” 분리를 통해 VRAM이 부족한 환경에서 긴 컨텍스트 응답 대기 시간을 줄일 수 있다는 점이다.
2분 소요 44 조회
LLM 해커뉴스
Claude Code 기본 도구 선택, 2,430회 벤치마크가 HN에서 논쟁 촉발
Hacker News에서 Claude Code 2,430회 실행 데이터가 공유되며 build-vs-buy 패턴과 기본 스택 편향, 개발팀 거버넌스 이슈가 집중적으로 논의됐다.
2분 소요 30 조회
LLM
OpenAI와 Paradigm, 스마트컨트랙트 보안 벤치마크 EVMbench 공개
OpenAI와 Paradigm이 스마트컨트랙트 취약점 탐지·패치·익스플로잇 능력을 평가하는 EVMbench를 발표했다. GPT-5.3-Codex는 exploit 모드에서 72.2%를 기록해 GPT-5의 31.9% 대비 큰 격차를 보였다.
2분 소요 34 조회
LLM 레딧
OpenAI, SWE-bench Verified 평가 중단: 최소 16.4% 테스트 결함 지적
Reddit r/singularity에서 주목받은 게시물은 OpenAI가 SWE-bench Verified 테스트 품질 문제를 이유로 해당 벤치마크 평가를 더 이상 사용하지 않겠다고 밝힌 소식을 공유했다. 최소 16.4% 결함 지적은 LLM 코딩 벤치마크 해석 방식에 직접적인 영향을 준다.
1분 소요 42 조회
AI X/Twitter
OpenAI, 스마트 컨트랙트 보안용 AI 에이전트 벤치마크 'EVMbench' 공개
OpenAI가 AI 에이전트가 고위험 스마트 컨트랙트 취약점을 탐지·익스플로잇·패치하는 능력을 측정하는 새로운 벤치마크 EVMbench를 출시했습니다.
1분 소요 40 조회
LLM 해커뉴스
"Car Wash" 테스트 — 53개 LLM 중 11개만 통과한 간단한 논리 문제
Opper가 53개 주요 LLM을 대상으로 "Car Wash" 논리 테스트를 실시했다. "세차장이 50미터 앞에 있는데 걸어갈까, 운전해 갈까?"라는 단순한 질문에 단 11개 모델만 정답을 맞혔다.
1분 소요 40 조회
LLM 레딧
GLM-5, NYT Connections 벤치마크에서 오픈 가중치 모델 1위 달성
Zhipu AI의 GLM-5가 Extended NYT Connections 벤치마크에서 81.8점으로 Kimi K2.5 Thinking(78.3)을 넘어서 오픈 가중치 모델 중 최고 성능을 기록했습니다.
1분 소요 41 조회
LLM
Google, Gemini 3.1 Pro 출시 — ARC-AGI-2 77.1% 달성, 추론 성능 2배 향상
Google DeepMind가 2월 19일 Gemini 3.1 Pro를 공개했다. 전작 대비 ARC-AGI-2 점수가 31.1%에서 77.1%로 2배 이상 향상됐으며, 100만 토큰 컨텍스트 창과 SWE-Bench Verified 80.6%를 기록했다.
1분 소요 44 조회
LLM
DeepSeek V4 공개 — 1조 파라미터·100만 토큰 컨텍스트 오픈 웨이트 코딩 모델
중국 AI 스타트업 DeepSeek이 음력 설날인 2월 17일 V4를 공개했다. 1조 개 파라미터, 100만 토큰 컨텍스트, mHC 아키텍처를 갖춘 오픈 웨이트 모델로 코딩 벤치마크에서 Claude 3.5 Sonnet·GPT-4o를 능가한다고 주장한다.
1분 소요 40 조회
LLM
Google, Gemini 3.1 Pro 출시 — ARC-AGI-2 추론 성능 2배 이상 향상
Google이 Gemini 3.1 Pro를 출시하며 ARC-AGI-2 벤치마크에서 77.1%를 기록했다. 이전 모델 대비 추론 성능이 2배 이상 향상되었으며, 복잡한 문제 해결을 위한 고급 추론 기능이 개발자와 일반 사용자에게 폭넓게 제공된다.
1분 소요 49 조회