組織がシステム全体にAIを導入するにつれ、攻撃対象領域は従来のIT環境やクラウド環境の枠を超えて拡大しています。MITRE ATLASでは、AI特有の攻撃シナリオ、実環境で観測された攻撃者の行動、およびAIを導入した環境における対策について記録しています。
MITRE ATLASフレームワークとは？
MITRE ATLAS（人工知能システムに対する敵対的脅威の全体像）は、AI搭載システムを標的とする攻撃者の戦術や手法を網羅した、常に更新され、一般に公開されているナレッジベースです。広く採用されているMITRE ATT&CK®フレームワークをモデルに開発されたATLASは、人工知能技術がもたらす特有の脅威、脆弱性、およびリスクに特化しています。
ATLASは以下の情報をもとに構築されています。
- 実際の攻撃の観察
- AIレッドチームのデモンストレーション
- 政府、産業界、学界によるセキュリティ研究
これにより、攻撃者がAIや機械学習システムをどのように標的にするか、その行動・技術・ツールを把握できます。
武器化からインフラの悪用へ：攻撃者の焦点の変化
現在確認されている多くの活動では、攻撃者が生成AIを使って以下のような作業を効率化しています。
- フィッシングメールやソーシャルエンジニアリングのスクリプト作成
- 脆弱性や攻撃技術の調査
- マルウェアやツール開発のトラブルシューティング
- 詐欺や偽の ID のためのコンテンツの生成 しかし、より懸念されるパターンが注目を集めています。攻撃者は進化する戦術を使用しており、AWS Bedrock や Azure AI Foundry などのクラウドベースの LLM リソースを悪用することが、利益と悪用の増大するベクトルになっています。
パブリックLLMはテキスト生成やスクリプト支援が可能ですが、クラウドホスト型モデルはエンタープライズの高付加価値なワークフローに深く統合されており、攻撃者にとってはコンピュート資源、機密データ、信頼された実行環境へのアクセス手段となります。
なぜ無料のオープンソースモデルではなく、クラウドホスティングのAIを攻撃するのか？
AWS Bedrock や Azure AI Foundry のようなクラウドプラットフォームは以下の理由で魅力的です。
- マルチテナント構造の存在： 共有コンポーネントに脆弱性があれば、複数顧客に影響を与える可能性があります。
- 機密データへのアクセス：特にRAG(検索拡張生成)ワークフローと連携する場合、社内の知識ソースから取得したデータがモデルに注入されます。
- 信頼性とID統合の悪用 ：クラウドIDやIAMロールを特権昇格や横展開に悪用可能です。
- 運用コスト：攻撃者はコンピュート資源を乗っ取ってLLMjacking(LLMの不正利用)を行うことで損失を発生させます。
これらの環境を悪用することで、オープンソースやAPIの使用よりもステルス性とROI(投資対効果)を高められるのです。
攻撃者が生成AIインフラを標的にする理由
クラウドベースの生成AIサービスを標的とする攻撃者の動機は、主に3つある。すなわち、金銭的利益、データの持ち出し、そして破壊行為である。攻撃の成否は、企業インフラへの初期アクセスをいかにして獲得できるかに大きく左右される。
1.経済的利益
アカウントの乗っ取りや設定ミスを突いて、無許可で推論ジョブを実行(LLMjacking)したり、AIサービスの無料計算資源を不正利用します。
2.情報窃取
高度な攻撃者は、RAG（検索強化生成）システムを通じてアクセスされる独自のモデル、トレーニングデータ、または機密性の高い企業文書を盗み出すことを狙っています。また、推論APIが悪用され、長期的にデータが漏洩する可能性もあります。
3.破壊
サービス妨害攻撃、学習パイプラインの汚染、モデル出力の改ざんによって性能や可用性を低下させます。
公開LLMの悪用は攻撃者の活動をある程度可能にするが、企業の生成AIインフラを標的にする戦略的利点(データアクセス、スケーラビリティ、信頼の悪用)は、より魅力的でインパクトのあるベクトルにしている。
MITRE ATLASでこれらの脅威を把握・分類
MITRE ATLASは、AWS Bedrock や Azure AIなどのプラットフォーム上で確認された戦術・技術を体系的に整理したもので、企業のセキュリティチームがリスクを可視化するのに有用です。
ATLASは、AIモデルの偵察、オープンソースのモデルやデータセットへのポイズニング、LLMプラグインの侵害など、クラウドホスティングのAIインフラに関連する技術だけでなく、幅広い技術をカバーしている。
ここでは、クラウドでホストされたAIインフラを攻撃する過程で、脅威行為者が活用できる具体的なテクニックの例をいくつか紹介する：
初期アクセス
- 有効な口座 (AML.T0012):攻撃者は多くの場合、以下の方法で正当なクレデンシャルを取得する。 フィッシング キャンペーン、クレデンシャル・スタッフィング、またはサプライ・チェーン侵害によって正当なクレデンシャルを取得することが多い。
- 公開アプリケーションの悪用 (AML.T0049):セキュリティが不十分であったり、公開されているエンドポイント(例えば、RAGアシスタントやAPI)は、生成AIシステムへの最初の足がかりを得るために使用される可能性があります。
AIモデルへのアクセス
- AIモデル推論APIアクセス (AML.T0040):推論 API に直接アクセスし、不正なクエリやワークロードを実行する。
- AIを活用した製品・サービス (AML.T0047):生成AIと統合され、出力操作や内部データの抽出を行う企業向けソフトウェアを対象とする。
実行
- LLMプロンプト注射 (AML.T0051):特にRAGやワークフローに統合されたシステムにおいて、ガードレールやロジックを破壊する悪意のある入力を注入すること。
権限昇格／防御回避
- LLM脱獄 (AML.T0054):モデル制御を迂回し、制限された機能を解除したり、有害なコンテンツを生成したりすること。
ディスカバリー
- AIモデルファミリーの発見 (AML.T0014):モデルのアーキテクチャやベンダーの特徴を特定し、攻撃をカスタマイズする。
- AIアーティファクトの発見 (AML.T0007):システム内部を明らかにするログ、プロンプト履歴、データセットを見つける。
収集と流出
- 情報リポジトリからのデータ (AML.T0036):RAGを通じて取得された、またはAIサービスに組み込まれた構造化/非構造化データを収集する。
- AI推論APIを介した流出 (AML.T0024):推論レイヤーを悪用してデータをゆっくりと抽出する。
- LLMデータ漏洩 (AML.T0057):注意深く細工されたクエリによって、意図しないデータ漏洩を引き起こす。
インパクト
- AIサービスの拒否 (AML.T0029):AI エンドポイントに過負荷をかけたり混乱させたりして、可用性を低下させる。
- 外部被害 (AML.T0048):AIシステムを悪用したり、重要なアプリケーションでAIの出力を操作したりすることで、金銭的、風評的、法的、物理的な損害を与える。
これらのテクニックは、攻撃者がAIインフラの各レイヤー(アクセス、実行、データ、影響)をどのように悪用しているかを示しています。MITRE ATLASは、SOCチームが検出の優先順位を付け、防御を検証し、企業のAI環境を効果的にレッドチームするために必要なマッピングを提供します。
Vectra AI と MITRE ATLASVectra AI
Vectraは、検知結果にMITRE ATLASの手法IDを付与しています。上記のクラウドAI手法については、以下の情報が表示されます：
- AWS BedrockなどのGenAIサービスへのアクセスにおいて、通常のパターンから逸脱した行動をとるユーザー
- GenAIの悪用に関するログ記録を無効にしようとする試み、あるいは調査を回避しようとするその他の試み
- このモデルは、侵害されたクラウドアカウントに関連する優先順位付けエージェントの動作と一致しています。また、Vectraは、不審なアクセスやGenAIモデルの有効化に関連するIDのリスクスコアを引き上げるため、これらのケースはアナリストの処理優先順位が上昇します。
Vectra AIのクラウドおよびID検知機能はエージェントレスで動作するため、ハイブリッドクラウドやSaaS環境におけるジェネレーティブAIの活動を網羅することができます。
MITREのATLASフレームワーク(2025年3月17日発表)で定義されたテクニックとサブテクニックに対する我々の現在の可視性の概要。
生成AIはもはや、攻撃者の手にある単なるツールではありません。今やそれ自体が標的となっており、企業での導入が進むにつれ、それを狙った攻撃もますます巧妙化していくでしょう。MITRE ATLASのようなフレームワークは、セキュリティチームがこれらの攻撃を可視化し、検知の優先順位を付け、防御策を検証するための共通の手段を提供します。