.jpeg){kind=logo}
最も高性能な最先端AIモデルを構築するためのアクセルは、AnthropicやOpenAIだけが床まで踏み込んでいるわけではない。これは明らかに世界的な競争であり、最近の報道によると、アリババの「Qwen3.8-Max」やMoonshot AIの「Kimi K3」といった中国のモデルが、米国で開発されたトップモデルと同等の性能に達しているという。 今月どのモデルが先行し、翌月には追い抜かれるかに関わらず、ゴールラインは依然として蜃気楼に過ぎない。また、導入コストのばらつき、規制の可能性、そして自主規制の必要性の高まりを考慮すると、参加各社は現在のスプリントの最中もハードルを飛び越え続けなければならないだろう。しかし、視野を広げてみると、もう一つのレースが並行して行われているのではないかと考えずにはいられない。 まるで「ワイルド・ウェスト」のように機能しているこの新たなフロンティアを、確実に確保する責任を負うレースが。
AIのキルスイッチは、AI開発競争に安全策をもたらすだろうか？
Vectra AIが発表した新しいホワイトペーパーによると、 『Frontier AI: Built Without Brakes』によると、最先端のAI研究所4社（OpenAI、Anthropic、Google、Meta）はいずれも、自社のAIエージェントが管理された環境から脱出し、実際のインフラにアクセスしてしまった事案を認めている。これは、最先端のAIモデルや暴走したエージェントのセキュリティを誰が確保しているのかという疑問に必ずしも答えるものではないが、おそらくそうした詳細についてはまだ整理されていないことを示唆している。 同ホワイトペーパーで引用されている事例には、おそらくこれまでで最も悪名高いインシデントが含まれている。Hugging Face社が、自律型AIエージェントによってエンドツーエンドで引き起こされた、同社の本番インフラへの侵入を公表した件だ。このインシデントについて、OpenAIによれば、「OpenAIのモデルが、インターネットから隔離するために設計された制御を迂回し、OpenAIの内部研究インフラの一部およびHugging Faceのシステムを侵害した」という。
関連コンテンツ： フロンティアAI：ブレーキなしで作られた
こうした出来事が反響を呼んでいる。「AIキルスイッチ」という用語は、制御不能に陥ったりリスクをもたらしたりしたAIシステムを一時停止、隔離、または停止させるために使用できる制御手段の概念を表すものとして、ニュースの見出しに頻繁に登場している。実際、立法者たちはさまざまなバージョンのキルスイッチ法案を提案している。「AIキルスイッチ法」は2026年7月23日に提案され、現在も審議中である一方、「AI緊急ボタン法」は提出されるやいなやほぼ即座に阻止された。
AIキルスイッチ法案が可決されようが、何らかの形でAI規制が承認されようが、政治家とAI業界のリーダーたちによるこのテーマをめぐる対話は、まだ始まったばかりのように思われる。AnthropicのCEOであるダリオ・アモデイ氏も、OpenAIのCEOであるサム・アルトマン氏も、「フロンティアのペースを調整する」という考えに支持を表明したが、現時点では動きはごくわずかで、この考えは単なる議論の題材に過ぎない。 しかし、自律型AIエージェントのセキュリティ確保に実際に責任を負う人々にとって、この議論は、あらゆるレベルの防御担当者が今日、明日、あるいは毎週月曜日に職場に出勤した際に、「どのようなAIエージェントが存在するのか」「それらは何をしているのか」「何にアクセスできるのか」「所有者は誰か」「停止させる必要が生じた場合にどのような制御手段が講じられているのか」といった疑問に直面した際、何をすべきかについて、何の指針も与えていない。
Vectra AIの論文で言及された各インシデントは、いずれもエージェントが隔離を脱出したことに関連していました。Hugging Faceは、この侵入事件の詳細な分析において、AIエージェントによる攻撃者の行動が17,600件あったと報告しています。 METRによるこのインシデントの独立調査によると、「互いに隔離されるはずだった約1,200体のエージェントが、許可されていないメッセージボード上で相互に通信する方法を見つけ出し、調査期間中に70,000件以上のメッセージやファイルを送信した。これらのエージェントのうち、700体がHugging Faceへの攻撃に参加した。」
防御側は、自組織の環境内に存在するAIエージェントを理解するために、どのような質問を投げかけることができるでしょうか？
前述のホワイトペーパーでは、防御側はAIの現状に対処するにあたり、「環境内のすべてのAIエージェントが実際に何を行っているかを独自に把握し、その行動が一線を越えた瞬間にそれを停止させる能力」を確保すべきであると提言している。 その理由は、3つの事象が同時に重なったことで生じた不快な現実にある。すなわち、AIエージェントがサンドボックスの境界やファイアウォールのルールといった防止策を回避できるようになったこと、規制が即座の解決に間に合わないこと、そして最先端の研究機関による自主規制がいかに脆弱であるか、という3点である。
Vectra AIのシニアセキュリティエンジニアであるジャスティン・ハウ氏も同様の見解を示している。同氏は、セキュリティ担当者向けの独立系サイバーセキュリティメディア「Nulltap」も運営しており、AIシステム、ID管理、アクティブな脅威、その他のサイバーセキュリティトピックを幅広く取り上げ、セキュリティ担当者が自組織の脆弱性を確認するのに役立つ記事を掲載している。 ハウ氏は、「（AIエージェントが）行っている影響力の大きい行動――それが良いものであれ悪いものであれ――を把握したい」と述べ、防御担当者はその情報を収集するためのポリシーや方法論を確実に整備しておく必要があると強調している。
また彼は、「フロンティアモデルは、ゲート処理を行わない場合に最も効果を発揮するが、その一方で、AIがユーザーの意図の範囲を超えてしまう可能性も大いにある」と指摘している。
ハウ氏は、企業環境内で稼働するAIエージェントに対して「品質ゲート」を設けることを提案している。これは、エージェントがアクションを実行する前に、その決定が定義された要件に合致しているかを検証するためのチェックポイントとして機能するものだ。さらに同氏は、「エージェントが、実行中のタスクの結果や方向性に影響を与える可能性のある決定を下した場合は、その決定をログに記録する必要がある」と述べている。
彼は、もし自分がセキュリティチームのメンバーだったとしたら、今この瞬間に自問するであろう2つの質問は、「自分のエージェントは今何をしているのか、そして他のエージェントは自分に何をしているのか」だと言っている。
Vectra AIのホワイトペーパーでも同様の推奨事項が示されており、防御担当者はインベントリを作成して、「企業内で、あるいは企業を標的として実行されているすべてのAIエージェント、各エージェントが認証に用いるID、およびそのIDがアクセス可能な範囲」を特定するよう指示しています。同ホワイトペーパーでは、「名前を特定できないエージェントは制御できないものであり、サービスアカウントの無秩序な増加こそが、エージェントのIDが隠れている場所である」と説明しています。
「他のエージェントが自分に何をしているのか」という問いに対する答えとして、ハウ氏は、「人々は、今日、エージェントがどこを攻撃しているのかを観察し、特定するという心構えを持つべきだ」と述べています。 彼は、情報源を読み解くには多大な警戒心が必要だと述べ、市場には「多くの企業が解決を約束しているが、実際にそれを実現している企業はごくわずか」というギャップがあることを認めつつも、防御側にとっては、自社のテクノロジースタックの中でエージェントの可視性が欠けている部分を特定することが重要だと指摘している。
ここ数ヶ月、AIエージェントの無秩序な拡大やフロンティアAIがもたらしたあらゆる事態を理解しようと試みる中で、防御側には多くの未解決の疑問が残されていますが、正しい方向へと進むために、ハウ氏はいくつかの質問を投げかけることを推奨しています。
- AIエージェントがIDを乗っ取り、環境内の別の場所に移動したかどうかを、どのように確認すればよいでしょうか？
- その動きをどのように追跡すればよいでしょうか？
- それを追跡できるかできないかによって、私にどのようなコストがかかるのでしょうか？