AI compute가 싸다는 전제에 HN이 금을 그었다

HN discussion은 AI compute scarcity를 단순한 GPU 가격 뉴스로 읽지 않았다. Tomasz Tunguz의 글은 Blackwell rental price 상승, CoreWeave 계약 조건 변화, OpenAI CFO의 compute 부족 발언, frontier model 접근 제한을 묶어 "abundant AI"의 시기가 끝났을 수 있다고 봤다. HN이 붙잡은 부분은 그 다음 질문이다. compute가 더 이상 거의 공짜처럼 느껴지지 않으면 software company의 전략은 어떻게 바뀌나.

원문은 다섯 가지 변화를 짚었다. 가장 좋은 model이 모두에게 열리지 않을 수 있고, 열려도 가장 돈을 많이 내는 고객이 먼저 가져갈 수 있으며, latency 보장도 희소 자원이 될 수 있다. 가격은 commodity처럼 움직이지만 supply chain은 바로 늘지 않는다. 그래서 startup은 더 작은 model, on-prem deployment, vendor diversification을 진지하게 봐야 한다는 주장이다.

댓글은 scarcity 자체보다 대응 방식에서 갈렸다. 한쪽은 가격 상승이 demand destruction을 만들고, teams가 Haiku급 model, cache, on-prem micro model, better harness design으로 빠르게 이동할 것이라고 봤다. 다른 쪽은 LLM을 제품 가치의 핵심으로 삼은 회사일수록 가격 인상에 취약하며, AI-independent architecture가 경쟁력이 될 수 있다고 지적했다.

가장 실용적인 댓글은 compute보다 evaluation이 병목이라는 쪽이었다. 더 싼 model을 섞어도 어디서 실패하는지 측정하지 못하면 실수를 더 빠르게 만들 뿐이라는 말이다. 그래서 이번 thread의 takeaway는 "GPU가 비싸졌다"가 아니다. AI product의 비용 구조가 prompt craft에서 infrastructure purchasing, routing policy, caching, evaluation suite로 옮겨가고 있다는 신호다.

startup 입장에서는 이 변화가 margin 문제로 끝나지 않는다. sales promise가 항상 최신 frontier model을 전제로 만들어져 있으면, provider access나 quota가 흔들리는 순간 roadmap도 흔들린다. 반대로 model choice를 추상화하고, 실패 평가를 자동화하고, 일부 workload를 local로 내릴 수 있는 팀은 가격이 흔들릴 때 더 느리게 흔들린다.