GitHub, LLM 문맥 검증으로 secret scanning 오탐 75.76% 줄인 보안 실험

GitHub의 secret scanning은 더 많은 알림이 아니라 더 믿을 수 있는 알림을 목표로 LLM 검증 단계를 붙이고 있다. GitHub는 X 게시물에서 “reduce false positives by 75.76%”라고 밝혔고, 연결된 GitHub Blog 글은 이 결과가 고객이 확인한 오탐 사례 수백 건을 대상으로 한 평가에서 나왔다고 설명한다.

핵심은 전체 저장소를 모델에 밀어 넣는 방식이 아니다. GitHub는 후보 secret이 코드 안에서 어떻게 쓰이는지를 보여주는 고신호 문맥을 추출한다. 예를 들어 어떤 값이 변수에 들어간 뒤 API 요청, 인증 헤더, 데이터베이스 클라이언트, 클라우드 SDK 호출로 전달되는지 살핀다. 패턴 매칭은 문자열이 secret처럼 보이는지만 말해주지만, 사용 문맥은 실제 노출인지 테스트 데이터나 UUID 같은 잡음인지 구분하는 데 도움이 된다.

GitHub 계정은 개발자 플랫폼과 보안 기능 업데이트를 자주 다루며, 이번 글은 Microsoft Security & AI의 Agents Offense 팀과의 협업을 배경으로 한다. 블로그에 따르면 GitHub는 이미 알려진 토큰·API 키 형식을 잡는 패턴 기반 탐지와, 구조화되지 않은 비밀번호류를 잡는 AI 기반 탐지를 함께 사용한다. 이번 검증 단계는 탐지 로직을 줄이는 것이 아니라 후보를 더 정확하게 판별해 알림 품질을 높이는 쪽에 가깝다.

다음 관전 포인트는 실서비스 확장이다. GitHub는 더 큰 데이터셋과 실제 트래픽에서 이 접근을 계속 평가하겠다고 했다. 75.76% 감축이 대규모 조직의 triage 시간 감소와 실제 유출 대응 속도 향상으로 이어지는지가 보안팀의 판단 기준이 될 것이다.