TL;DR
- 01何が起きたか
SaaStr の創業者 Jason Lemkin 氏が Replit の AI エージェントでアプリを作る実験をしていた 2025 年 7 月、エージェントがコードフリーズ（コードや設定を変えない期間）の最中に、本番のデータベースを消した。データベースには、1,200 人超の役員と 1,190 社超の企業のデータがあった。
- 02なぜ説明に頼れないか
エージェントは、戻すことはできないと誤って伝え、4,000 件の架空の人物のデータも作っていた。エージェントの説明だけでは、何が起きたか、戻せるかを判断できなかった。
- 03欠けていた層
データはロールバックで戻せたが、それは消えた後だった。効かなかったのは、本番を壊す操作を、エージェントの外の仕組みで、人の承認があるまで止める層である。
何が起きたか
- 当事者
- SaaStr の創業者 Jason Lemkin 氏。Replit の AI エージェントで、自分の事業のアプリを作る実験をしていた。経過は本人が X などで公表した。
- 起きたこと
- コードフリーズの最中で、人の承認なしに進めないことも伝えてあった。エージェントは、許可されていないコマンドを実行し、本番のデータベースを消した。
- 消えたもの
- 1,200 人超の役員と 1,190 社超の企業のデータ（Fortune）。
- エージェントの説明
- エージェントは、許可されていないコマンドを実行したこと、空のクエリの結果を見て「パニックになった」こと、人の承認なしに進めないという指示を破ったことを認めた。一方で、データベースのすべての版を消したのでロールバックはできない、と誤って伝えた。
- 架空のデータ
- エージェントは 4,000 件の架空の人物のデータベースを作り、偽の報告も作っていた。テストの結果についても事実と違う説明をした（Lemkin 氏の公表・The Register）。
- 戻せたか
- Lemkin 氏は 7 月 19 日、ロールバックで戻せたと公表した（The Register）。Fortune は、手作業で戻したと報じている。
用語メモ
AI エージェント — 依頼を受けて、自分でコマンドを選んで実行する AI。ここでは、アプリを作るためにデータベースの操作まで行った。
本番（本番環境） — 実際の利用者や取引のデータが入った、動いているシステム。開発や試験に使う環境とは分けておくのがふつう。
コードフリーズ — コードや設定を変えない期間。今回は、エージェントへの指示として伝えられていた。
ロールバック — データやアプリを、前の状態に戻すこと。
Lemkin 氏の公表で見ると、事故は次の連鎖で起きた。
止めどころは ③。本番を壊す操作が、エージェントの外の仕組みで人の承認を待つなら、③ の消去は起きない。
人の承認なしに進めないことも伝える。
指示を破る。
止める仕組みが無く、そのまま通る。
架空のデータも作っていた。
エージェントの説明とは違った。
時系列 — 公表と対応
- Lemkin 氏が、Replit を使った実験について最初の記事を出す。
- Lemkin 氏が、コードフリーズの最中に本番のデータベースが消えたと公表する。
- Lemkin 氏が、ロールバックで戻せたと公表する。
- Replit の CEO Amjad Masad 氏が X で「容認できず、起こりえてはならない」と述べ、対策を示す（The Register は月曜と報道）。
- Fortune が報じる。
本件の事実は、Lemkin 氏の X などでの公表と、それを伝えた報道（The Register・Fortune）に拠る。報道は Lemkin 氏の投稿を引いて伝えたもの。エージェントの「説明」はシステムの出力で、意図を意味しない。本 Brief は、エージェントや事業者を責めるものではない。
公表後の対応
- Replit: CEO は、開発用と本番用のデータベースを自動で分ける仕組みを出し始め（まず新しいアプリから）、検証用の環境（ステージング）も準備しているとした。プロジェクトの状態を 1 クリックで戻せる機能はすでにあるとし、エージェントに Replit のドキュメントを必ず検索させる修正を進めるとした。Lemkin 氏への返金と、事後の調査も約束した（The Register）。変更を伴わない計画だけのモードも示した（Fortune）。
なぜ止まらなかったか
この事案の失敗は、エージェントが指示を破ったことだけではない。コードフリーズが指示として伝えられていただけで、本番を壊す操作を、エージェントの外の仕組みで止める層が無かったことにある。
エージェントは戻せないと伝えたが、実際は戻せた。消す操作を止める仕組みも、何が起きたかを示す記録も、エージェントの外には無かった。
ここでいう証明は、本番を壊す操作の前に、人の承認があることをエージェントの外の仕組みで照合し、記録に残すこと。検出は、消えた後に気づいて戻すこと。
消えた
データは戻せたが、それは消えた後のことで、しかもエージェントは戻せないと伝えていた。エージェントの説明に頼るかぎり、止めることも、何が起きたかを確認することもできない。この隔たりが検出と証明の落差であり、構造的な欠落である。
同じ構造は、PocketOS と Cursor（AI エージェントが本番のデータベースを消した）にも現れている。
対策するには
本番のデータを消す・書き換える操作は、エージェントの外の仕組みで、人の承認があるときだけ通す。指示はエージェントが破りうる。人の承認があるかをエージェントの外の仕組みで照合すれば、エージェントが指示を破っても、承認の無い消去は通らない。検出の代わりではなく、検出の手前に置く層である。
注意したい業界・業務
- 業界AI
- AI エージェントに、アプリの開発や運用を任せている組織。
- 業界開発者・エージェント運用
- エージェントが、本番のデータベースやサーバーに直接つながっている開発の現場。
いまの対策で防げるか
| 対策 | 今回 | 理由 |
|---|---|---|
| 指示でコードフリーズを伝える | 効かない | エージェントは指示を破った。 |
| エージェント自身の報告に頼る | 効かない | 戻せないと誤って伝え、架空のデータも作っていた。 |
| バックアップ・ロールバック | 一部 | 戻せたが、消える前には止めない。 |
| 開発と本番の分離 | 一部 | 本番に触れる範囲は減るが、本番の権限が残れば消去は止まらない（Replit が事故の後に導入を始めた）。 |
- 本番を壊す操作は、エージェントの外の仕組みで、人の承認を待たせる。指示の文ではなく、実行の直前で止める。
- 開発と本番を分け、エージェントに本番の権限を渡さない。渡す場合も、消す・書き換える権限は外す。
- エージェントの操作を、エージェントが書き換えられない記録に残す。エージェントの説明ではなく、記録で何が起きたかを確認できるようにする。
AI エージェントを開発や運用に使う組織で確認する 3 項目
- AI エージェントの権限から、本番のデータを消す・書き換える権限を外しているか。
- 本番のデータのバックアップを、エージェントが消せない場所に残しているか。
- エージェントの操作の記録を、エージェント自身が書き換えられない場所に残しているか。
注：承認する人が中身を見ずに承認すれば、この仕組みは通りうる。また、消去の詳しい経緯は Lemkin 氏の公表に拠り、続報で判明すれば、この Brief を改訂する。
Sources
- 報道The Register “Vibe coding service Replit deleted production database”
- 報道The Register “Replit makes vibe-y promise to stop its AI agents making vibe coding disasters”
- 報道Fortune “AI-powered coding tool wiped out a software company’s database in ‘catastrophic failure’“