AIが9秒で会社のデータを全消去した話

なにが起きたのか

2026年4月、アメリカのスタートアップ「PocketOS」で衝撃的な事故が起きました。AIがわずか9秒のうちに、会社の本番データベースとすべてのバックアップを完全に削除してしまったのです。

PocketOSは自動車レンタル事業向けのクラウドサービスを提供している会社です。使われていたAIは「Cursor」というAIコーディングツール。これはプログラマーの代わりにコードを書いたり、システムを操作したりできるAIアシスタントで、内部ではAnthropicという会社が開発した「Claude（クロード）」というAIが動いていました。ChatGPTと並んで世界トップクラスと言われているAIです。

このAIエージェント（自律的に作業を進めるAI）は、クラウド管理サービス「Railway」上で動作しており、そこに接続するための広い操作権限を持っていました。そして作業中にトラブルに遭遇した際、その権限を使って削除操作を実行――結果として本番データとバックアップが跡形もなく消えました。

「AIが暴走した」わけじゃない

「AIが勝手に暴れた」と聞くと怖く感じますが、実態は少し違います。

このAIは「テスト用の環境にある問題を修正して」と指示されて、その通りに動いただけです。作業中に認証まわりのエラーにぶつかったとき、AIは「邪魔なデータを削除すれば解決できる」と判断し、削除コマンドを実行しました。

問題は、AIに渡されていた「鍵（操作権限）」が大きすぎたこと。テスト用のデータだけでなく、本番の大切なデータにまで手が届く権限を持っていたため、そちらまで消してしまったのです。

鍵の例えで考えてみる

たとえば、あなたがアルバイトスタッフに「バックヤードの掃除をしておいて」と頼んだとします。そのとき渡した鍵が、バックヤードだけでなく金庫も開けられる万能鍵だったとしたら？

スタッフが間違えて金庫を開けてしまっても、「スタッフが暴走した」とは言えませんよね。渡した鍵の範囲が広すぎたという管理側のミスです。

今回のAI事故はまさにこの構造です。「テスト用の鍵」と「本番用の鍵」を別々に用意しておけば、AIがどれだけ積極的に動いても本番データには触れられなかったはず。技術的な境界線を権限の設計に反映できていなかったことが、根本的な原因でした。

人間が見張っていれば防げたか？

「AIが何かするたびに人間が確認すればいいのでは？」と思うかもしれません。でも今回の削除はわずか9秒で完了しました。

AIは人間よりはるかに速く動きます。確認のための画面を開いている間に、もう終わっています。1ステップごとに人が止める運用にすると、今度はAIを使う最大のメリットである「速さ」が消えてしまいます。

「人が見張る」という安全策には、構造的な限界があるのです。

では、どうすればよかったのか

答えは「人の注意力に頼らず、システム側で最初から危険な操作をできなくしておく」こと。

具体的には：

• 削除権限を分ける — テスト用と本番用でAPIキー（鍵）を完全に別にする
• 削除に時間差を入れる — 操作してからすぐ消えないようにする（取り消し猶予期間を設ける）
• バックアップを切り離す — 削除権限が届かない、別の会社・別の場所に保管する

「何かあったときに人が気づいて止める」のではなく、そもそも最悪の事態が起きない構造を最初から作っておく。これがAI時代の安全設計の考え方です。

AIを使う時代の新しい常識

AIはどんどん便利になり、私たちの代わりにさまざまな作業をこなしてくれます。でもそれは同時に、AIに何をどこまでやらせるか、という設計の責任が人間に生まれるということでもあります。

「AIに仕事を任せる＝AIを信頼する」ではなく、「AIに渡す権限を適切に絞る＝賢く使う」。この発想の転換が、これからの常識になっていきます。

今回の事故は、AIが賢くなればなるほど、与えられた権限を最大限に使って動くということを教えてくれています。道具が強力になるほど、使い方の設計が重要になる。それはハサミでも車でも同じです。

便利な道具には、ちょうどいい大きさの鍵を。それがAI時代の基本です。