Kimi K3, 비공개 보안 벤치마크에서 GPT-5.6 대비 비용 우위 부각

보안 에이전트 비용 경쟁이 수면 위로

대규모 코드베이스 보안 분석은 모델 성능만으로 고르기 어렵다. Vercel CTO Malte Ubl은 X에서 비공개 사이버 보안 벤치마크 결과를 공유하며 “GPT 5.6 is best recall/precision but at 7x higher cost per run”라고 썼다. 같은 글에서 그는 Kimi K3를 비용 대비 재현율이 좋은 작업용 모델로 평가했다.

평가는 Deepsec.sh라는 오픈소스 사이버 하네스를 사용했다고 설명됐다. Ubl에 따르면 대상은 많은 보안 문제가 수정되기 전의 특정 오픈코어 애플리케이션 git sha였고, 벤치마크 맥스킹을 막기 위해 세부 내용은 공개하지 않았다. 순위는 GPT-5.6 Sol이 가장 철저한 분석을 했지만 비용이 높고, Kimi K3가 가격 대비 재현율에서 강하며, GLM 5.2는 Kimi K3보다 40% 낮은 가격으로 적절한 재현율을 보였다는 구조다.

이 트윗이 중요한 이유는 보안 AI가 점점 단발 데모가 아니라 반복 실행 비용의 문제로 이동하고 있기 때문이다. Ubl은 대형 코드베이스에서 Sol을 돌리면 6자리 달러 비용까지 갈 수 있다고 적었다. 취약점 방치나 버그 바운티 비용과 비교하면 여전히 감당 가능한 선택일 수 있지만, 매일 또는 PR마다 돌리는 지속 분석에는 다른 모델 조합이 필요하다는 판단이다.

또 하나의 신호는 Fable 5에 대한 “100% refusal rate” 언급이다. 보안 분석 모델은 위험한 요청을 거부해야 하지만, 합법적 코드 감사를 전부 막으면 실무 도구가 되기 어렵다. 다음 관전점은 Deepsec 같은 하네스가 공개 재현 가능한 평가 세트를 내놓을지, Kimi K3·GLM 계열이 실제 취약점 패치 워크플로에서 얼마나 낮은 오탐률을 보일지다. 원문은 X 게시물에서 볼 수 있다.