#pretraining

OpenAI共同創業者でTesla AIの元ディレクター、Andrej Karpathy氏が5月19日にAnthropicへの入社を発表。事前学習チームに加わり、Claude自体を活用した研究加速に取り組む。

r/MachineLearningのDante-2B進捗報告は、Italianの形態とtoken効率を重視してtokenizerから作り直した2.1B bilingual LLMのPhase 1結果を共有している。