NIST, 언어모델 자동 벤치마크 평가 초안(NIST AI 800-2) 의견수렴 시작

발표 개요

미국 NIST의 Center for AI Standards and Innovation(CAISI)는 2026년 1월 30일, 언어모델 및 AI agent system 평가를 위한 초안 문서 NIST AI 800-2 Practices for Automated Benchmark Evaluations of Language Models를 공개했다. 공지에는 문서가 2026년 2월 10일 업데이트되었다는 정보와 함께, 공개 의견수렴 기한이 2026년 3월 31일까지라고 명시되어 있다. NIST는 이번 수렴 기간을 60-day comment period로 안내했다.

문서의 핵심 목적은 자동 벤치마크 평가에서 validity, transparency, reproducibility를 높이기 위한 공통 실무 기준을 정리하는 데 있다. CAISI는 이 가이드를 'voluntary guidance' 성격으로 제시하며, 향후 다른 평가 유형에 대한 추가 지침도 준비할 계획이라고 밝혔다.

초안의 구조

• 평가 목표 정의 및 벤치마크 선택
• 평가 구현과 실행 절차
• 결과 분석 및 보고 방식
• 용어 정리를 위한 glossary

대상 독자는 AI deployer, developer, third-party evaluator 등 기술 실무자이며, 동시에 procurement와 의사결정 담당자도 활용할 수 있도록 설계됐다. 즉, 연구용 측정뿐 아니라 조달·도입 판단에 필요한 평가 문서 품질을 끌어올리는 것이 정책 목표다.

왜 중요한가

현재 AI 시장에서는 벤치마크 수치가 빠르게 유통되지만, 실험 설정·데이터 처리·보고 형식이 제각각이라 결과 비교가 어려운 경우가 많다. NIST AI 800-2는 이러한 불일치를 줄이고, 최소한의 보고 관행을 맞추려는 시도라는 점에서 의미가 크다. 특히 enterprise 도입 단계에서는 모델 성능 자체보다도 평가 재현성과 보고 신뢰도가 계약·리스크 관리에 직접 연결된다.

NIST는 이메일로 제출되는 의견과 첨부자료가 공개될 수 있음을 고지했다. 이는 문서 개선 과정의 투명성을 높이는 동시에, 이해관계자들이 공식 기준 형성에 실질적으로 참여할 수 있는 창구를 제공한다.