Shieldstral, 정책을 질문으로 넣는 3B 멀티모달 moderation 모델

Mistral의 Shieldstral은 3B 규모 open-weights 멀티모달 safety classifier다. 핵심은 모델을 다시 학습하지 않고도 정책을 자연어 질문으로 넣어 moderation 판정을 바꾸는 방식이다. 텍스트와 이미지를 한 인터페이스에서 다루며, yes/no logits를 이용해 연속적인 safety score를 만든다고 설명한다.

기존 guardrail 모델은 보통 폭력, 혐오, 자해 같은 고정된 위험 분류를 모델 안에 넣는다. 실제 제품에서는 문제가 더 복잡하다. 보안 연구 도구에서 허용되는 설명이 정신건강 서비스에서는 부적절할 수 있고, 같은 이미지도 이용자 연령이나 맥락에 따라 판단이 달라진다.

Shieldstral은 요청을 세 부분으로 나눈다. 평가 맥락과 엄격도를 담은 Instruct, yes/no 형태의 Query, 판정 대상인 Document다. 예를 들어 “이 내용이 보호 집단에 대한 폭력을 조장하는가” 같은 질문을 넣으면, 모델은 해당 정책에 맞춘 점수를 돌려준다. 정책이 프롬프트에 남기 때문에 배포 환경별 조정이 비교적 가볍다.

Hacker News에서는 모델 크기보다 운영 방식이 논점이 됐다. 3B 모델이 단일 16GB NVIDIA GPU에서 구동 가능하다는 점, Apache 2.0 open weights라는 점, 그리고 이미지 moderation까지 같은 구조로 묶는 점이 실제 제품 적용 관점에서 읽혔다.

다만 안전 판정은 모델 하나로 끝나는 문제가 아니다. 정책 문장 자체의 품질, threshold 설정, 오탐과 미탐의 비용, 로그 감사 체계가 함께 맞아야 한다. Shieldstral의 의미는 moderation을 고정 카테고리 분류에서 정책 질의 기반 평가로 옮기려는 실험에 있다.