Gimlet Labs, 3억달러 조달…추론 속도 5~10배 노리는 멀티실리콘 승부

AI 추론에 쓰이는 칩을 한 종류로 통일하는 대신, 계산 단계마다 가장 알맞은 가속기로 일을 나누는 회사에 3억달러가 몰렸다. Gimlet Labs는 Andreessen Horowitz가 주도한 Series B를 마쳤고 Arm, Microsoft의 M12, Samsung Ventures를 비롯한 17개 투자사가 참여했다고 밝혔다. 이번 투자에서 평가된 기업가치는 30억달러이며, 외부 조달액은 누적 3억9200만달러다.

돈보다 중요한 대목은 자금이 향하는 곳이다. 대형 모델 추론은 입력을 처리하는 prefill, 토큰을 이어 만드는 decode, 도구 호출처럼 성격이 다른 작업을 한 묶음으로 처리한다. Gimlet은 GPU, CPU, near-memory compute, dataflow architecture를 섞고 각 단계를 알맞은 칩에 배치한다. 회사가 공개한 수치는 동일한 전력 조건에서 5~10배 빠른 처리, 또는 같은 지연시간에서 그에 준하는 처리량 개선이다. frontier workload 전체를 기준으로는 기존 동종 하드웨어 구성보다 3~10배 빠르다고 설명한다.

전력 제약도 이번 투자의 배경이다. Gimlet의 9월 4일 설명에 따르면 AI 데이터센터는 2025년 약 18GW를 소비했고, 2030년에는 세 배 수준으로 늘 전망이다. 회사는 지난 12개월간 월간 토큰 생성량이 6배 늘었으며 2030년까지 다시 20배 증가할 수 있다는 추정도 제시했다. 이 수치들은 회사와 업계 전망에 기반한 것이어서 독립 검증과는 구분해야 한다.

Gimlet은 지난 3월 Series A 이후 5개월여 만에 대형 후속 투자를 유치했다. 그사이 수십억달러 규모의 계약 매출과 기가와트 단위 데이터센터 파이프라인을 확보했으며, 관리 용량을 수백MW로 확대하고 있다고 밝혔다. 투자금은 연구 데모보다 실제 공급 능력을 키우는 데 쓰일 가능성이 크다. 현재 고객은 frontier lab과 대규모 추론 소비자에 집중돼 있고, 더 넓은 고객에게 제공할 용량은 늘리는 단계다. 따라서 공개된 속도만큼 접근성, 가격, 가동률이 따라오는지도 살펴야 한다.

관심은 5~10배라는 수치가 여러 모델과 실제 고객 부하에서도 유지되는지에 모인다. 칩을 잘게 나누어 쓰면 효율이 오를 수 있지만 데이터 이동, 스케줄링, 장애 대응이 새로운 비용이 된다. 모델 가중치와 KV cache를 칩 사이에서 옮기는 시간도 결과를 좌우한다. 고객이 특정 칩 공급 상황에 덜 묶이는 장점과 운영 복잡성이 맞바뀌는 구조다. Gimlet이 이 복잡성을 감춘 채 안정적인 지연시간을 제공한다면, 추론 시장의 경쟁 단위는 ‘어느 GPU를 샀는가’에서 ‘서로 다른 칩을 얼마나 잘 묶는가’로 바뀔 수 있다.