30papers.com、著名なML論文リストを初学者向けの入口へ
Original: 30papers.com – Ilya's 30 essential ML papers, in a beginner friendly format View original →
30papers.comは、Ilya SutskeverがJohn Carmackに渡したとされるAI・deep learning論文30本のリストを、初学者が読みやすい形にしたWebプロジェクトだ。単にPDFリンクを並べるのではなく、難しい用語に平易な説明を添え、研究論文を読み始める人を読者として想定している。
リストにはattention、transformer、RNN、reinforcement learning、情報理論など、現代のMLを追ううえで何度も出会う基礎が含まれる。論文そのものは新しいものではない。それでも関心を集めたのは、読む入口の作り方にある。初心者に必要なのはリンク集だけではなく、語彙、前提知識、読む順番を支える足場だ。
HNのコメントもそこに集中した。作者はTrinity College Dublinの1年生で、友人が論文を読むたびにClaudeの利用量を大量に使わなくて済むよう作ったと説明している。一方で、背景やアニメーションが読書体験を邪魔するという指摘もあり、作者は動きや背景をオフにする設定を追加した。さらに、attentionを説明する資料は「Attention Is All You Need」より前に置くべきではないか、という読み順の提案も出た。
このプロジェクトの意味は、有名な名前を掲げることより、原論文への距離を保ちながら最初の摩擦を下げる点にある。AI学習資料は要約や動画に寄りがちだが、一次資料を読みたい人には用語と順路の支援が効く。30papers.comはまだ作り途中だが、研究文献を初学者向けに開く需要ははっきり見える。
Related Articles
Stanfordの公開 CS25講義は、Zoom、recordings、Discordを通じて campus外まで広がる Transformer研究の学習チャネルとして再び機能している。
100個未満のパラメータを持つ超小型Transformerモデルが、2つの10桁の数字の足し算で100%の精度を達成したという興味深い研究結果が公開されました。桁トークン化が鍵となっています。
ServiceNowのMosaicLeaksは、deep researchエージェントが外部検索の途中で内部情報を漏らすリスクを測る。性能だけを上げる訓練では漏えい率が34.0%から51.7%に悪化し、PA-DRでは9.9%まで下がった。