오픈소스 Forge, 8B 모델 정확도 53%→99%로 끌어올린 가드레일 프레임워크

8B 모델의 한계를 넘다

오픈소스 Python 프레임워크 Forge가 소형 언어 모델의 에이전트 신뢰성을 극적으로 향상시킬 수 있음을 입증했다. GitHub에 공개된 Forge는 구조화된 가드레일을 통해 Ministral-3 8B 모델을 26개 시나리오 평가에서 53% 기준선에서 99%까지 끌어올렸다.

핵심 가드레일 메커니즘

Forge의 신뢰성 향상은 네 가지 경량 메커니즘에서 나온다. 첫째, 구제 파싱(Rescue Parsing)으로 잘못된 형식의 도구 호출을 처리한다. 둘째, 재시도 넛지(Retry Nudges)로 모델이 올바른 응답 방향으로 가도록 유도한다. 셋째, 단계 강제(Step Enforcement)로 필수 워크플로우 단계가 순서대로 실행되도록 보장한다. 넷째, 컨텍스트 관리로 VRAM 예산을 고려한 티어형 컨텍스트 압축을 수행한다.

사용 방법

Forge는 세 가지 사용 모드를 제공한다. WorkflowRunner(전체 에이전트 루프 관리), Guardrails 미들웨어(커스텀 오케스트레이션 내 조합 가능), Proxy 서버(기존 클라이언트를 위한 OpenAI 호환 래퍼). Ollama, llama-server, Llamafile, Anthropic 백엔드를 지원하며 Python 3.12+ 환경이 필요하다.

이 연구 결과는 대형 프론티어 모델에만 의존하지 않고도 소형 로컬 모델로 에이전트 작업을 높은 정확도로 수행할 수 있는 가능성을 보여준다는 점에서 주목받고 있다.