Humanoid home-taskの88% fail rate、r/singularityは12%の足場も見た

同じ数字が二つの読みを生んだ

Humanoid robotsがhome taskの88%に失敗するというr/singularityのthreadは、95ポイント、73コメントを集めた。同じ統計が二つの正反対の空気を作ったからだ。リンク先のForbes articleは、household humanoidが家庭に入り始める一方で、common taskの大半をまだ失敗していると説明する。Redditユーザーはすぐに数字を裏返した。Benchmark上で約12%のhome taskをすでにこなせるなら、それは悪い結果なのか、それとも難しいrobotics問題で初めて見えるfootholdなのか。

この曖昧さがthreadを面白くした。Humanoid roboticsにはhype problemがあるが、home roboticsには外部から軽く見られがちなdifficulty problemもある。Kitchen、laundry room、living roomには、deformable objects、partial visibility、clutter、liquids、glass、fabric、pets、humansが混ざる。12% success rateはproduct videoの隣ではひどく見える。一方で、数年前のgeneral-purpose home robotのほぼzero baselineと比べれば進歩にも見える。

Redditはbenchmark contextを見た

役に立つコメントは、数字を単に持ち上げたり切り捨てたりしなかった。あるユーザーは、underlying reportがBEHAVIOR-1K時代のdataに依存しており、Figure 03、1X Neo、Boston Dynamicsの最新public workが含まれていない可能性を指摘した。これは重要だ。Robotics progressは不均一で速い。Benchmark snapshotは正確でも、比較対象のhardwareやpolicyがすでに変わっていれば、同時に古く見える。

逆方向の反応もあった。今が最悪の状態だという楽観である。r/singularityではよくある見方だが、完全に空ではない。Home-task robotはvision-language-action models、teleoperation data、simulation、cheaper actuators、robust manipulation policiesの改善で進む。問いはfail rateが下がるかではなく、carefully selected demosの外でどれほど速く下がるかだ。

Hypeより良い会話

このthreadの価値は、failureをdataとして扱った点にある。高いfail rateは、domestic helperとして売られる製品への期待を冷やす。同時にコミュニティは、home taskこそprogressが不均一に届くmessy long-tail environmentだと見ていた。Laundry folding、dishes clearing、cabinet opening、人の近くで安全に動くことは、ひとつのbenchmark problemではない。数百のedge caseが積み重なったものだ。

Humanoid robotsを追う読者にとって、有用な結論はpanicでもdismissでもない。88% fail rateはhousehold autonomyがまだ未成熟だと示す。12% success rateはbaselineがもはやzeroではないと示す。r/singularityの議論はその間にある。この分野は家庭ではまだ下手だが、測定され改善できる形で下手になった。

Forbes article · Reddit discussion