그럴듯한 회로도를 만드는 능력과 실제로 작동할 회로를 설계하는 능력 사이에는 큰 간격이 있다. EEBench가 공개한 평가 방식은 이 간격을 부품 오차, 전압 변화, 비용과 조달 가능성으로 드러낸다. Hacker News에서도 400점 넘는 관심과 200개 이상의 댓글이 붙었다. 화제의 중심은 AI가 KiCad 화면을 얼마나 능숙하게 조작하는지가 아니라, 교과서의 이상적인 값이 현실의 부품에서도 버티는지를 어떻게 자동 채점할 수 있느냐였다.

EEBench는 그래픽 CAD 대신 atopile의 선언형 코드로 회로를 표현한다. 에이전트는 부품과 연결, 전기적 제약을 직접 수정하고 빌드와 시뮬레이션 결과를 다시 읽는다. 좌표와 메뉴 상태를 계속 추적하는 작업을 줄여 모델의 컴퓨터 조작 능력보다 전자공학 판단을 시험하려는 선택이다. 제출된 설계는 회로 그래프와 자재 명세서로 변환되고, SPICE 시뮬레이션과 설계 규칙 검사를 거친다. 전압, 이득, 임계값, 리플, 과도 응답 같은 측정치가 각 요구 범위 안에 들어오는지 결정론적으로 판정한다.

가정용 전력계 과제가 차이를 선명하게 보여준다. 5V 전원이 끊기면 프로세서가 누적 값을 저장하도록 20ms 동안 보호 전압을 3.0V 이상 유지해야 한다. 모델은 대개 커패시터를 추가한다는 방향까지는 맞힌다. 하지만 한 제출안의 22µF 세라믹 커패시터는 4.7V가 걸리자 유효 용량이 11.4µF로 줄었다. 필요한 값은 545µF였고, 보호 전압은 0.85ms 만에 3V 아래로 떨어졌다. 소스가 정상적으로 빌드된다는 사실만으로는 회로의 목적을 달성했다고 볼 수 없는 사례다.

더 어려운 과제에서는 연산증폭기 기반 저역통과 필터의 저항·커패시터 비율을 맞추고, 모든 부품을 최악의 허용오차 구간으로 밀어도 이득과 차단 주파수, Q 값이 범위 안에 남아야 한다. EEBench는 제조사 데이터시트에서 가져온 실제 부품 사양과 SPICE 모델을 사용한다. 성능을 만족한 뒤에야 기준 자재 명세서와 비교한 비용 효율이 점수에 반영된다. 값싼 부품을 골라도 회로가 실패하면 비용 점수는 도움이 되지 않는다.

9월 1일 기준 13개 과제에서 Claude Opus 5가 61.6%로 1위였고 Grok 4.6은 57.1%, Claude Fable 5.1은 56.4%였다. GPT-5.5는 42.3%, GPT-5.6 Sol은 39.4%였으며, OpenAI가 회로 설계를 시연한 GPT-6 Astra 결과는 아직 없다. 현재 버전도 한계가 분명하다. 아날로그·디지털 회로의 요구사항과 시뮬레이션은 다루지만 PCB 배치, 제조, 실물 구동까지 평가하지는 않는다.

그래도 이 벤치마크가 제시한 방향은 중요하다. 컴파일러와 테스트가 코딩 에이전트에 즉각적인 피드백을 주듯, 전압과 부품 동작을 측정하는 시뮬레이터가 회로 설계 에이전트의 검증 루프가 된다. 실패한 전압 구간과 비용 초과는 평가 지표인 동시에 후속 학습의 보상 신호로 쓸 수 있다. 지금의 점수는 AI가 전자공학자를 대체한다는 선언보다, 제한된 회로 과제에서 검증 가능한 설계 반복을 시작했다는 증거에 가깝다.

#eebench

AI 회로 설계, 정답보다 부품 오차에서 갈린 EEBench