2026年4月7日、Werner Vogels は AWS の新しい storage 機能である S3 Files を紹介し、S3 が object API だけでなく file system 的な access まで取り込む方向へ進んでいると説明した。記事は単なる feature announcement というより、なぜその層が必要になったのかを語る内容になっている。出発点は genomics の研究現場で、大量の sequencing data を扱う研究者たちが、分析そのものより copy、sync、重複データ管理に多くの時間を使っていたという経験だ。

中心にある問題は data friction である。S3 は durability、scale、cost に優れる一方、多くの analytics tool や training pipeline は依然として local Linux file system を前提にしている。その結果、S3 上の object を一度 file に変換して処理し、終わったら再び object として戻す、という copy pipeline が常態化する。Vogels は、この摩擦が genomics だけでなく media、semiconductor、scientific computing、machine learning pretraining にまで広がっていると述べる。

AWS はすでに S3 Tables と S3 Vectors を通じて、object より高い abstraction を持つ data primitive を作り始めていた。S3 Files はその延長線上にある。発表によれば、EC2 VM、container、Lambda function の中で S3 bucket や prefix を mount し、filesystem semantics で扱い、変更を S3 に戻せるようになる。pandas、Unix toolchain、training job、agentic workflow が object storage を使うたびに別の copy automation を組まなくてよくなる、という狙いだ。

興味深いのは、AWS 自身がこの設計の難しさをかなり率直に説明していることだ。file semantics と object semantics を一体化しようとすると、どちらかを必ず少し損なう trade-off が発生する。EFS チームと S3 チームはその間で何度も設計をやり直し、「unpalatable compromises」に向き合ったという。つまり S3 Files の意味は単なる mount 機能ではなく、storage abstraction をどこまで押し上げられるかという AWS の方向宣言に近い。

Hacker News がこの話題を重視する理由もそこにある。agent が software をより速く作る時代では、application は短い周期で生まれて消えていくが、data は残り続ける。だからこそ compute と data を結び付けるコストを下げる storage layer の価値が大きくなる。S3 Files が実際にどこまで滑らかな semantics と performance を提供できるかはこれからだが、少なくとも object storage と file system の間にあった長年の copy labor を減らそうとする試みであることは明確だ。

#data-infrastructure

Hacker Newsが注目した S3 Files、object storage と file system の摩擦を減らす