OpenAI 연구원 Noam Brown, AI 진보 속도가 계속될 것이라 전망 — METR 벤치마크 논의
Original: OAI researcher Noam Brown responds to question about absurd METR pace saying it will continue and METR will have trouble measuring time horizons that long by end of year View original →
개요
Reddit r/singularity에서 253점을 기록한 포스트에서, OpenAI 연구원 Noam Brown이 AI 모델의 놀라운 진보 속도에 대한 질문에 의미심장한 답변을 내놓았다.
METR 벤치마크란
METR(Model Evaluation and Threat Research)은 AI 모델의 자율적 작업 수행 능력을 측정하는 벤치마크로, 모델이 독립적으로 얼마나 긴 시간 범위의 작업을 수행할 수 있는지를 평가한다. 최근 AI 모델들이 METR 벤치마크에서 기하급수적으로 빠른 개선을 보이고 있어 업계의 주목을 받았다.
Noam Brown의 답변
Brown은 X(Twitter)에서 METR의 "놀라운 속도(absurd pace)"에 대한 질문을 받고, 두 가지 핵심 전망을 내놓았다:
- 이 진보 속도가 계속될 것이다
- 연말쯤에는 METR이 그 정도로 긴 시간 범위를 측정하는 데 어려움을 겪을 것이다
이는 AI 모델의 자율 작업 능력이 수 시간에서 수일, 나아가 수 주 단위의 복잡한 작업을 독립적으로 수행할 수 있는 수준으로 발전할 것임을 시사한다.
의미
Brown의 발언은 AGI(인공일반지능) 논의에서 중요한 데이터 포인트다. OpenAI 내부의 최전선 연구자가 현재의 급격한 진보율이 단기적 이상이 아닌 지속 가능한 추세라고 확인한 셈이기 때문이다.
벤치마크 자체가 모델의 발전 속도를 따라가지 못할 수 있다는 전망은, AI 능력 평가 방법론에 대한 근본적 재고가 필요할 수 있음을 시사한다.
Source: Noam Brown on X, r/singularity
Related Articles
Codexは開発支援から職種別workflowの表面へ広がっている。OpenAIは新pluginに62アプリと110スキルを束ね、Business・Enterprise向けSites previewも始めた。
OpenAIは汎用推論モデルがエルデシュの平面単位距離問題の予想上限を反証する構成を発見したと発表しました。数学者が証明を検証しましたが、ML研究者は手法の透明性に疑問を提起しています。
2024年に複雑度理論を用いて「機械学習では人間レベルの分類器を学習できない」と主張した論文（Ingenia定理）が、同じ学術誌Computational Brain & Behaviorで反論論文により否定された。証明は「回復不可能な誤り」を含むと指摘されている。