OpenRouter, GPQA·TAU-Bench 실시간 점수를 도구 호출 라우팅에 연결
OpenRouter가 오픈웨이트 모델에 GPQA와 TAU-Bench를 지속 실행하고, 그 결과를 AutoExacto 라우팅에 반영한다고 설명했다. GLM 5.2 페이지에서는 1M 토큰 컨텍스트와 $0.94/$3 per 1M 가격 같은 실사용 지표도 함께 노출된다.
카테고리
Insights의 LLM 기사
OpenRouter가 오픈웨이트 모델에 GPQA와 TAU-Bench를 지속 실행하고, 그 결과를 AutoExacto 라우팅에 반영한다고 설명했다. GLM 5.2 페이지에서는 1M 토큰 컨텍스트와 $0.94/$3 per 1M 가격 같은 실사용 지표도 함께 노출된다.
GitHub이 Copilot agentic harness를 SWE-bench Verified, SWE-bench Pro, SkillsBench, TerminalBench, Win-Hill에서 비교했다. 같은 모델·같은 과제 조건에서 해결률은 모델 기본 하네스와 비슷했고, 대부분의 구성에서 토큰 사용량은 더 낮았다는 점이 핵심이다.
Snyk VulnBench JS 1.0은 같은 JavaScript 취약점 리뷰를 300번 반복해 LLM 보안 점검의 재현성을 측정했다. 최고 LLM 설정도 Snyk-reference F1 75.4%에 그쳤고, reference 밖 추가 보고의 49.7%는 5번 중 1번만 나타났다.
오픈웨이트 모델 경쟁이 가격 실험을 넘어 실제 에이전트 배치 문제로 이동했다. OpenRouter는 DeepSeek V4 Flash, GLM 5.2, MiniMax M3, Nemotron 3 Ultra 등 4개 모델을 June 2026 핵심 후보로 제시하며 SWE-bench 79.0%, 1M context, 최대 150x 비용 차이를 근거로 들었다.
로컬 LLM 관심은 이제 “돌아가나”에서 “두 노드를 어떻게 한 기계처럼 묶나”로 옮겨갔다. 이 가이드는 Framework Strix Halo 보드 두 대와 Intel E810 RoCE v2 구성을 vLLM serving까지 연결한다.
관심은 단순한 속도 수치보다 “어떤 토큰을 검증할 것인가”에 모였다. DSpark는 speculative decoding의 낭비를 줄여 DeepSeek-V4에서 사용자 체감 생성 속도를 60~85% 높였다고 설명한다.
OpenRouter는 6월 오픈 weight 모델 흐름을 DeepSeek V4 Flash, GLM 5.2, MiniMax M3, NVIDIA Nemotron 3 Ultra 네 축으로 정리했다. 핵심 숫자는 SWE-bench Verified 79.0%, Intelligence Index 51, 1M context, 그리고 frontier API 대비 큰 가격 차이다.
OpenAI의 새 GPT-5.6 제품군은 곧바로 전체 공개되지 않고 미국 정부와 공유된 소수 파트너부터 열린다. Terra는 GPT-5.5급 성능을 2배 낮은 비용으로 겨냥하고, Sol은 사이버·코딩 평가와 접근 정책을 함께 시험한다.
Google의 새 on-device 최적화는 모델을 다시 학습하지 않고도 속도를 끌어올리는 방식이다. Pixel 9·10의 Gemini Nano v3에 frozen Multi-Token Prediction을 붙여 token 생성 50% 이상, standalone drafter 대비 130MB 절감을 제시했다.
GPT-5.6은 단순한 모델 미리보기가 아니라 배포 절차 자체의 변화다. Sol은 Terminal-Bench 2.1 SOTA, ExploitBench에서 Mythos Preview 대비 약 1/3 출력 token이라는 수치를 내세우지만, 첫 접근권은 정부와 공유된 trusted partner로 제한된다.
에이전트형 도구가 실험용 코딩 보조를 넘어 사내 업무 운영 방식으로 들어가고 있다. OpenAI는 전사적으로 Codex가 더 복잡하고 장시간 실행되는 교차 기능 업무에 쓰인다고 밝혔다.
프런티어 모델 접근권이 규제 중단 뒤 단계적으로 복구되고 있다. Anthropic은 6월 12일 이후 미국 정부와 협의했고, Mythos 5를 미국 핵심 인프라 운영·방어 조직에 먼저 재배포할 수 있게 됐다고 밝혔다.