AI compute scarcityをHNはproduct architectureの問題として読んだ

HN discussionはAI compute scarcityをGPU価格ニュースだけでは終わらせなかった。Tomasz Tunguzのpostは、Blackwell rental priceの上昇、CoreWeaveの契約条件変更、OpenAI CFOのcompute不足発言、frontier model accessの制限をつなげ、abundant AIの時代が終わりつつあると見た。HNが見たのは、その先のproduct strategyだ。

元記事は変化を五つに分けた。state-of-the-art modelへのaccessがrelationship-basedになり、最良のcapacityは高く払える顧客へ向かい、払ってもlatencyが保証されず、価格上昇がAI commodity marketの日常になり、developerは小さなmodelやon-prem deploymentへ分散せざるを得なくなる、という構図だ。これはinfraだけでなくproduct planningを変える。

コメント欄は対応策で割れた。価格上昇が無駄なdemandを壊し、teamはroutine taskを安いmodelへ移し、cacheやharness designを改善するという見方があった。逆に、third-party LLM callにproduct valueを依存する会社ほどprice increaseに弱く、部分的にAI-independentなarchitectureが強みになるという指摘も出た。hosted inferenceが高くなるほどopen-weight modelが逃げ道になる、という話も続いた。

実務的に一番効いたのは、computeだけがbottleneckではないという指摘だ。productionでは、安いmodelを混ぜてもevaluationがなければ失敗を安く速く量産するだけになる。今回のtakeawayは、AI product architectureがcost disciplineになり始めたということだ。procurement、routing policy、cache design、fallback model、local inference、evaluation suiteがprompt qualityと同じくらい重要になる。

startupにとって、これはmarginだけの問題ではない。sales promiseが常に最新frontier modelへのaccessを前提にしていると、provider quotaの変更が一晩でroadmap問題になる。model choiceを抽象化し、evaluationを自動化し、一部workloadをlocalへ移せるteamは、価格ショックを避けられなくても適応する余地が大きい。