#pretraining

AI 연구자 Andrej Karpathy가 5월 19일 Anthropic 입사를 공식 발표했다. OpenAI 공동창업자이자 전 Tesla AI 디렉터로, Anthropic 프리트레이닝 팀에서 Claude를 활용한 연구 가속을 맡는다.

r/MachineLearning에 올라온 Dante-2B 진행 보고는 Italian 형태와 token 효율을 위해 tokenizer부터 다시 설계한 2.1B bilingual LLM의 1단계 학습 결과를 공유한다.