#fineweb

OpenAIはXで、16 MBのartifact limitと8×H100で10分のtraining budgetの下で最も効率的なpretrained modelを競う公開研究チャレンジ「Parameter Golf」を開始すると発表した。固定FineWeb dataset、公開baseline repo、任意のRunpod compute creditsが用意される。