#ai-evals

Hacker News에서 크게 화제가 된 AISLE의 글은 Anthropic Mythos 발표가 AI 보안 카테고리의 현실성을 보여줬지만, 방어적 우위가 특정 model 하나에만 있음을 뜻하지는 않는다고 주장한다. 적절한 코드 경로가 주어지면 작은 open model도 중요한 취약점 분석을 상당 부분 복원했다는 설명이다.

r/artificial 링크 포스트는 100 nonsense prompts와 3-judge panel을 사용하는 BullshitBench v2를 다시 주목하게 했다. 현재 공개 leaderboard에서는 Claude Sonnet 4.6 high reasoning이 91% green rate와 3% red rate로 1위에 올라 있지만, community benchmark라는 점은 함께 읽어야 한다.