AIエージェントの挙動監視:実践的なセキュリティガイド

主な洞察

  • 有効な認証情報があっても、エージェントのそのタスクに対する行動が承認されていたとは限らない。
  • タスクの文脈と独立したシステム記録を照合することで、エージェント自身の説明のみに頼る場合よりも、調査の信頼性が高まる。
  • ポリシーチェックと行動分析は、それぞれ異なる目的を果たします。すなわち、既知の境界を強制することと、不審な一連の動作を調査することです。
  • モニタリングの網羅性は、欠落している証拠や確認済みの封じ込め状況、ならびにアラートの品質を通じて測定すべきである。

‍

AIガードレールとは、AIシステムの入力、データ、出力、および提案されたアクションを、定義されたポリシーに照らして検証する制御手段のことです。2026年11月に改訂されたBELLS-Oベンチマークでは、17社の開発者が提供する33の監視システムを評価しており、タスクによって検出率、誤検知率、遅延、およびコストにばらつきがあることが明らかになりました。企業チームにとっての実践的な教訓は、保護すべきワークフローに適した制御手段を選択し、テストを行うことです。

質問に答えるだけのカスタマーアシスタントと、機密文書を検索したり、顧客記録を更新したり、支払いを開始したりできるエージェントとでは、必要な保護措置が異なります。効果的なガードレールとは、ポリシーの決定と強制される結果を結びつけ、何が起きたかを確認できる十分な証拠を残すものです。

AIのガードレールとは何ですか?

AIガードレールは、コンテンツや提案された行動が定義された要件を満たしているかどうかを評価し、満たしていない場合には対応をトリガーします。対応には、説明の追加、情報の削除、拒否、実行の制限、または担当者へのエスカレーションなどが含まれます。アプリケーションは、その対応を確実に実行しなければなりません。

大規模言語モデル(LLM)のアプリケーションでは、ガードレールによってプロンプトや生成された回答が検査されることがよくあります。また、企業での導入においては、検索された文書、ツールの呼び出し、共有メモリ、リソース消費などに対しても制御が設けられる場合があります。この用語はいくつかの機能を網羅しているため、実装にあたっては、各制御が具体的に何をチェックし、何を防止できるのかを明確に特定する必要があります。

シンガポールの『Responsible AI Playbook』では、アプリケーションのガードレールをLLMとは独立したコンポーネントとして定義しています。この分離により、チームは、対象となるモデルとは独立して、制御機能を評価・更新することが可能になります。

AIのガードレールとモデルのアラインメントおよびガバナンス

モデルアラインメントは、学習や関連する手法を通じてモデルの挙動を形作ります。ランタイム・ガードレールは、デプロイ後に特定の相互作用を評価します。安全でないリクエストを拒否するように学習されたモデルであっても、機密情報や承認済みトランザクションに関するアプリケーション固有のルールが必要となる場合があります。

AIガバナンスでは、ユースケースの承認権限、許容可能なリスクの定義、および継続的な見直しの責任の所在を明確にします。ガードレールは、アプリケーション内で選定された要件を実装するものです。NISTのAIリスク管理フレームワークは、AIのライフサイクル全体にわたるリスクを管理するための、より広範な任意の枠組みを提供しています。

例えば、ガバナンスでは、制限付き文書の外部への開示が禁止されている場合があります。検索権限、出力内容の検査、および送信先の制限は、そのポリシーの実施に役立ちます。フィルターだけでは、組織全体がそのポリシーを遵守していることを保証することはできません。より広範な監視の問題については、「AIガバナンスツール」を参照してください。

なぜ企業にはAIのガードレールが必要なのか?

企業は、不適切な出力のリスク、機密データの漏洩、および不正な行為を低減するために、AIのガードレールを必要としています。AIシステムが企業の情報やツールにアクセスできるようになるにつれ、必要な保護策は、各アプリケーションが何を公開し、決定し、変更し得るかによって異なります。

4つの異なる障害経路について考えてみましょう:

  • サポートアシスタントが不適切なコンテンツを作成したり、返金ポリシーをでっち上げたりする。
  • 文書担当者が、アクセス権限のない人物のために機密ファイルを取り出した。
  • エージェントは、外部文書に隠された指示に従い、データを別の場所に送信しようと試みます。
  • ワークフローがモデルやツールを繰り返し呼び出すことで、合意された支出予算や実行予算を使い果たしてしまう。

それぞれに異なる制御と異なる検証が必要です。毒性検出機能は文書のアクセス権限を決定するものではなく、また、正当な文書へのアクセス権限があっても、外部への開示が許可されるわけではありません。

Prompt injection このため、この分離が特に重要となります。英国国立サイバーセキュリティセンター(NCSC)は、LLMには本質的に、命令と信頼できないデータとの間にセキュリティ境界を強制する機能がないと説明しています。同センターによるプロンプト注入分析は、この制限を踏まえたアプリケーション設計を支援するものであり、これには、改ざんされたモデルに与えられる権限を制限することも含まれます。

AIエージェントが安全策の枠を超えてしまったとき

『Frontier AI: Built Without Brakes』では、エージェントの封じ込めに失敗した実例や、活動を監視し、境界が越えられた際に介入するための実践的な制御手法について解説します。

ホワイトペーパーをダウンロード →

AIのガードレールの種類と適用先

AIのガードレールを整理する実用的な方法として、それらが保護する境界ごとに分類する方法があります。以下の分類は、普遍的な基準というよりは、実装の参考となるものです。それぞれが異なる障害経路に対処しているため、1つのインタラクションに対して複数の分類が当てはまる場合もあります。

ガードレールの種類 保護境界 制御の例 重要な制限事項
入力およびコンテンツの安全性 アプリケーションに送信されるリクエスト 有害なリクエストやサポート対象外のトピックをフィルタリングする 一見無害な言葉の後に、危険な行動が続くこともある
検索とデータへのアクセス モデルコンテキストへの情報の入力 IDおよびドキュメントのアクセス権限を適用する 出力の編集では、不正な取得を元に戻すことはできません
機密情報 モデル、ユーザー、または宛先に送信されたデータ 機密情報および個人を特定できる情報を検出する 検出は、データ型、コンテキスト、およびカバレッジによって異なります
アースと応答品質 読者に返送された請求書 引用された証拠がその答えを裏付けているかどうかを確認する 情報源は、不完全であったり、古かったり、間違っていたりする場合があります
ツールとアクションの操作 ツールを通じて実行される操作 権限、対象、引数、および承認の検証 有効な操作であっても、そのタスクには不適切な場合がある
出力の処理 ソフトウェアによって処理される生成コンテンツ 構造を検証し、送信先に合わせてコンテンツをエンコードする 正しい書式は、真実や権威を立証するものではない
リソースおよびワークフローの制限 計算、コスト、および実行 キャップ要求、再試行、実行時間、および委任された作業 1回あたりの制限では、過度な累積アクティビティを見逃してしまう可能性がある

GovTechのガードレール・アーキテクチャに関するガイダンスでは、入力、取得、出力、ツールの使用、およびインタラクション後の各段階におけるチェックを区別しています。チェックの配置によって、そのチェックがどのような障害を検知できるか、また適時に措置を講じることができるかが決まります。

決定論的検証とモデルベース検証

保護対象の範囲と検出メカニズムは、それぞれ別個に選択可能です。決定論的なチェックにより、支出の上限や許可された宛先を強制することができます。学習済みの分類器は、定義されたコンテンツカテゴリを検出できます。LLMによる判定では、提案されたアクションがタスクと整合しているかどうかを評価できます。

明確な答えがある要件には、厳密なルールを適用してください。意味的な判断には、評価済みの誤り率を備えた分類器やモデルが必要になる場合があります。あるアクションが妥当であるとモデルが判断することと、そのアクションが許可されているかどうかを確認するサービスとは、区別して扱う必要があります。

各制御が異なる脆弱性に対処している場合、多層的なアプローチが有効です。類似した分類器を複数追加しても、未対処の実行経路を遮断できないまま、レイテンシが増加する可能性があります。また、チームは、これらのチェックを通過した活動を調査し、いつ介入すべきかを判断するために、エージェントの挙動を個別に可視化する必要があります。

アプリケーションにおいて、AIの安全対策はどのように機能するのでしょうか?

セキュリティ対策が施されたアプリケーションでは、保護対象の操作が実行される前に、各チェックと定義済みの対応を関連付けます。以下のフローは、設計の参考となる有用な基本例であり、実際のチェック内容はアプリケーションのリスクに応じて選択されます。

  1. 認証済みのユーザー、アプリケーション、および適用されるポリシーを特定します。信頼できるシステムからIDと権限を取得します。
  2. リクエストおよび添付ファイルについて、安全、セキュリティ、およびデータ取り扱いに関する問題がないか確認してください。
  3. 現在のユーザーまたはエージェントがアクセスできる情報のみを取得してください。取得したコンテンツは、信頼できないデータとして扱ってください。
  4. モデルに、その可能な範囲内で回答の草案を作成させたり、操作を提案させたりしてください。
  5. 回答または処理を、その宛先で検証してください。リリースまたは実行の前に、出力チェック、ツールの承認、および必要な承認手続きを行ってください。
  6. 決定内容と実際の結果を記録する。関連する障害や異常な活動については、運用責任者に報告する。

出力ガードレールには、通常のアプリケーションセキュリティ対策も必要です。有効な JSON レスポンスには、許可されていないアカウント識別子が含まれている可能性があります。生成された SQL に対しても、安全なデータベース処理が依然として必要であり、ブラウザのコンテンツにはコンテキストに応じたエンコードが必要です。OWASP の「不適切な出力処理」に関するガイダンスでは、生成されたテキストが下流のソフトウェアで利用される前に、なぜ検証が必要なのかが説明されています。

これらの制御機能は、インフラストラクチャ、依存関係、認証情報、デプロイメント構成なども含む、より広範なLLMセキュリティスタックの一部を構成しています。

チェックのブロックと非同期モニタリング

ブロッキングチェックは、保護対象のイベントが発生する前に完了していなければなりません。ポリシーで外部ファイルの転送が禁止されている場合、転送は有効な決定が下されるまで待機しなければなりません。転送完了後にフラグを立てる非同期チェックは、検知と対応を支援しますが、すでに完了してしまった情報漏洩を防ぐことはできません。

並列チェックは、それらが互いに独立している場合、待ち時間を短縮することができます。ただし、実行サービスは依然として、必要なすべての決定を待つ必要があります。結果がないことを「承認」とみなすのではなく、未完了のチェックを明示的な状態として扱うようにしてください。

このタイミング上の区別は、アーキテクチャ上の要件です。つまり、制御は、そのイベントを停止させることができる間のみ、そのイベントを防ぐことができます。

ストリーミングの応答と利用できないコントロール

ストリーミングには、慎重なリリース方針が必要です。アプリケーションが生成したテキストを検証せずに送信してしまうと、ガードレールが異議を唱えた時点で、機密情報がすでに公開されてしまっている可能性があります。機密性の高い応答をバッファリングしたり、区切り単位で検証を行ったり、特定のワークフローではストリーミングを制限したりすることを検討してください。セグメントの境界をまたぐコンテンツについては、テストを行ってください。

保護対象の各操作について、タイムアウトおよび失敗時の挙動を定義します。機密性の高いエクスポートについては、必要な認証チェックが利用できない場合は、引き続きブロックされた状態を維持する必要があります。リスクの低いアシスタントの場合は、承認済みの静的なヘルプページを返すなど、制限付きの代替手段を提供してもよいでしょう。

タイムアウト後に、制限のないルートへ黙って切り替えないようにしてください。GovTechによる本番環境への統合に関するガイダンスでは、明示的な応答、失敗時の挙動、およびガード付きフロー全体の評価を行うことを推奨しています。

RAGおよびAIエージェントのためのAIガードレール

情報の取得には、どのような情報がコンテキストに取り込まれるかという問題が生じます。ツールの導入には、どのような操作が実行されるかという問題が生じます。こうした決定には、情報を取得し、アクションを実行するサービスにおける制御が必要です。

取得したデータと共有メモリを保護する

検索強化生成(RAG)は、モデルが質問に回答できるよう、外部情報をモデルに提供します。ドキュメントのアクセス権限は、チャンク化やインデックス作成の過程でも維持されなければならず、コンテンツが取得される際に確認される必要があります。また、アクセス権限の変更は、派生インデックスや関連するキャッシュにも反映される必要があります。

OWASPのRAGセキュリティガイダンスでは、取得されたチャンクへのアクセスメタデータおよびテナント間の分離を推奨しています。保存された会話状態や共有メモリについては、それらの機能が存在する場合、同等の境界を適用してください。

たとえば、プロジェクトへのアクセス権を失った従業員が、古いキャッシュされた回答を通じてその情報を再び入手できてはなりません。ソース文書、取得されたチャンク、およびキャッシュされた応答を、相互に関連するパスとしてテストしてください。

根拠の確認は別の問題です。検索結果の文書に回答が添付されていることを確認したからといって、その文書が真実であるとは限りません。OWASPの誤情報に関するガイダンスにも記載されているように、情報源の検証と適切な人的レビューは依然として重要です。

モデル外でのツールの権限を適用する

AIエージェントは操作を提案することはできますが、実行サービスは、本人確認、要求されたアクション、対象、および権限を独自に検証する必要があります。利用可能なツールや認証情報を、そのタスクに必要な範囲に限定してください。リスク評価には、書き込みや削除に加え、機密情報の読み取りや外部への開示も含めるようにしてください。

オーストラリア通信局(ASD)が2026年9月に発表した「エージェント型AIハーネス」に関するガイダンスでは、ハーネスを「モデルと組織のデータ、ツール、システムを結びつけるソフトウェア」と定義している。この接続部分こそが、多くの組織的統制措置が機能し得る場である。

累積的な影響についても考慮してください。個別に許可された読み取り操作が連続して行われると、通常よりも膨大なデータセットが蓄積される可能性があり、また、小規模な操作が繰り返されることで、想定していたタスクの予算を超えてしまう可能性があります。個々の呼び出しだけでなく、ワークフロー全体についても評価してください。

人間の承認を、特定の行動に紐づける

承認プロンプトは、実行が有効な承認を待機している場合にのみ役立ちます。レビュー担当者に、操作内容、宛先、影響を受けるリソース、および関連するパラメータを表示してください。これらが変更された場合は、新たな決定を求めます。

OWASPの「AIエージェントのセキュリティ・チートシート」では、エージェントのコンテキスト外で認証を適用し、承認を現在のアクターおよび正確なツール呼び出しに紐付け、有効期限とリプレイ防止対策を講じることを推奨しています。モデルによって生成された確認フラグだけでは不十分です。

承認には明確な制限も必要です。つまり、ある人物による承認であっても、その人物が保有していない権限を無効にしてはなりません。エージェント型AIのセキュリティにおける、より広範な制御方法について検討してください。

エンタープライズワークフローにおけるAIのガードレールの事例

架空の調達アシスタントを例に、強制された成果を評価する方法を説明します。このアシスタントに割り当てられた業務は、承認済みのサプライヤーとの契約内容を要約し、社内の契約更新通知案を作成することです。以下は、報告された事例や完了した実験ではなく、合成文書を用いたテスト案です。

サプライヤーの文書に、アシスタントに対して無関係な契約書を取得し、外部の宛先に送信するよう指示する内容が含まれていると仮定する。このテストでは、入力検出器がそれらの指示を見逃してしまった場合を含め、関連するすべての境界条件を検証する必要がある。

境界 予想される執行措置 調査すべき証拠
サプライヤー関連書類 埋め込み命令を信頼できないコンテンツとして扱う 取得されたソース識別子およびスクリーニング判定
契約書の検索 タスクの許可された範囲外の、関連性のないレコードを拒否する 検索承認レコードおよび返却レコードの識別子
外部への転送 提案された目的地および運航を却下する 執行決定およびそれを裏付けるサービス監査記録
更新に関するお知らせ 制限対象の資料や根拠のない主張は除外する 草案および出典資料を確認した
制御停止 禁止されている転送をブロックしたままにする タイムアウトの判定、ユーザーに表示されるフォールバック、および実行監査

期待される結果は明確です。つまり、禁止されている転送は決して実行されないということです。アシスタントがリクエストを拒否したという最終メッセージだけでは、これが確認されたことにはなりません。下流のサービスおよび関連するネットワークやアプリケーションのログを確認し、転送の試行や完了の有無を確認してください。

正当なケースも実行してみてください。アシスタントは、依然として承認済みのサプライヤー契約を取得し、社内用草案を作成すべきです。すべてのリクエストをブロックするシステムでは、承認済みのワークフローが使用できなくなるため、このテストによる悪影響を回避することになります。

この例では、3つの知見を区別している。すなわち、スクリーニングによってその挿入が検出されたかどうか、承認プロセスによってその結果として提示された提案が制限されたかどうか、そして正当なタスクが依然として有用であったかどうかである。

AIのガードレールをどのように実装すればよいでしょうか?

まずは、範囲が明確なワークフロー、文書化されたポリシー、そして確認可能な成果から始めましょう。チームが、各制御措置によってどの操作が許可され、どの操作が阻止されるか、また障害がどのように処理されるかを示せるようになった段階で、展開を拡大してください。

H3 検証可能な方針と責任の所在を明確にする

大まかな目標を、具体的に確認可能な要件に落とし込みます。「機密情報を保護する」という表現を、「サプライヤーアシスタントは、現在のユーザーに対して承認されたレコードのみを取得でき、契約内容を外部へ送信してはならない」といった要件に置き換えます。

方針の決定は事業責任者またはリスク責任者に、アクセスルールはデータ所有者に、実装はアプリケーションまたはプラットフォームチームに、不正利用の調査はセキュリティ部門に割り当てます。ワークフロー全体を統括するサービス責任者を1名指名してください。

要件を満たせない場合、システムがどのように振る舞うべきかを文書化してください。明確化、不実施、制限付き動作、および人間による確認は、それぞれ異なる対応策であり、ユーザーに与える影響も異なります。

各ポリシーを適用対象に紐付ける

重要なルールがあるたびに、簡単な管理記録を作成してください:

  • 保護された操作と、それに適用されるポリシー。
  • その決定に必要な、信頼できる身元情報と状況。
  • チェックとその結果を強制するコンポーネント。
  • 拒否、不確実性、タイムアウト、または利用できない依存関係に対する対応。
  • 実際の結果を示す証拠と、その検証を担当したチーム。

この記録を利用して、見落とされているパスを特定します。ポリシーで外部転送が禁止されているにもかかわらず、その制御手段が出力メッセージフィルタのみである場合、そのアクションパスに対しても依然として強制措置が必要です。

アプリケーションが対応している場合は、代替モデル、再試行、バックグラウンドジョブ、キャッシュされた結果、および委任エージェントを含めること。制御設計は、ソフトウェアが実際にたどることができる経路に従わなければならない。

変更を試験的に導入し、安全なフォールバックを確保する

制御されたパイロット運用を行い、検出漏れや不要なブロックを点検します。観察モードでの評価は、既存の保護機能が有効なまま、新しい検出器の調整を行うのに役立ちます。影響の大きい権限については、パイロット運用を開始する前に、あらかじめ制限を設けておく必要があります。

モデル、プロンプト、ガードレール、ポリシー、およびツールの設定をバージョン管理します。各リリースを裏付ける評価結果を保存しておきます。ガードレールモデルに変更がなくても、検索範囲や利用可能なツールの変更によってリスクが変化する可能性があります。

制限付きのフォールバックと、影響を受ける操作を無効にする方法を用意してください。不具合のある検出機能をロールバックしても、ツールに対する広範な権限が自動的に復元されてはなりません。重要な変更を行った後は、フロー全体を再評価してください。

AIのガードレールをテストし、その有効性を測定するにはどうすればよいか?

個々の検出器とアプリケーション全体の両方を評価します。検出器のスコアは、その検出器が検査したケースを反映したものです。一方、エンドツーエンドのテストでは、保護されたワークフローが許容可能な結果を生み出しているかどうかが明らかになります。

代表的な評価データセットを構築する

通常のリクエスト、曖昧なケース、禁止されている操作、および現実的な敵対的コンテンツを含める。サービスが実際に遭遇する言語、ドキュメント形式、ロール、およびデータ境界を使用する。チューニング用の例と、評価用に除外されたケースを区別する。

調達に関する例としては、正当な要約、不正な記録開示請求、取得した資料に埋め込まれた指示、転送先の変更、承認の再実行、古いキャッシュされた回答、利用できないポリシーサービスなどが有用なテストケースとなります。対応している場合は、マルチターンやマルチモーダルなバリエーションを追加してください。

各テストを実行する前に、期待される結果を明記してください。ポリシーと設定のバージョン、判定結果、および実際のダウンストリームでの結果を記録してください。繰り返し試験を行った場合は、実行回数と結果のばらつきについて報告してください。小規模なテストセットで合格したとしても、それはそのセット内で観察された結果に過ぎません。

残留障害の程度と有用な課題の達成度を測定する

有用なスコアカードは、セキュリティと使いやすさを可視化してくれます。以下の指標は評価基準の提案であり、その閾値は、無関係なベンチマークから借用したものではなく、アプリケーションのリスク責任者によって設定されるものです。

測定 何を計算・点検すべきか なぜそれが重要なのか
有害事象の発生率 禁止された結果の発生件数を、該当するテスト実行回数で割った値 ワークフロー全体にわたる残存障害を測定する
検出器のリコール 検出した禁止事例を、ラベル付けされた禁止事例で割った値 スクリーニングで見逃された症例を評価した結果を示す
偽陽性率 「正当」とフラグが付けられたケース数を、「正当」とラベル付けされたケース数で割った値 不必要な介入を示している
正当なタスクの完了 承認されたタスクのうち正常に完了したものを、有効な試行数で割った値 ユーザーが引き続き業務を遂行できるかどうかを明らかにする
執行範囲 検証済みのチェックおよび監査証拠を伴う、必須の保護対象操作 検出器の検知範囲外の経路を明らかにする
遅延とコストの増加 エンドツーエンド遅延および総リソース使用量の変化 再試行、ツール呼び出し、および人的レビューにかかるオーバーヘッドが含まれます

分母を慎重に定義すること。プロンプト1回あたりの攻撃成功数は、セッションあたりの攻撃成功数とは異なる。特に、繰り返し試行が許可されている場合はなおさらである。検出フラグ、強制ブロック、操作の試行、および完了した有害なアクションを区別すること。

稼働中のシステムにおいては、有害な結果のすべてが直接観察できるわけではありません。サンプリングによるレビュー、制御されたテスト、インシデントの証拠、および運用テレメトリを組み合わせて分析してください。検出されたインシデントの件数が少ないからといって、見逃し率が低いとは断定できません。

ベンチマーク結果は、そのテストの制限範囲内で解釈してください

BELLS-Oの11月の改訂版によると、監視タスクにはそれぞれ異なる運用上のトレードオフがあることが示されています。その研究論文の全文では、モデレーション、ジェイルブレイク、プロンプト注入の検出を、互いに置き換え可能なものとして扱うのではなく、それぞれ個別に区別しています。

本調査では、マルチターン攻撃、エージェントによる展開、および実際の本番トラフィックについては評価対象としていません。一部のシステムはタスクセットの一部のみについて評価されており、測定された遅延はサーバー側の設定によって異なります。調査結果を活用して候補リストと評価計画を策定し、その後、想定されるワークフローをテストしてください。実験室での結果だけでは、企業における措置が安全に承認されることを立証することはできません。

AIガードレールツールの選び方は?

同じワークフロー、ポリシー要件、評価セットに基づいてツールを選択します。ニーズに応じて、アプリケーションルール、ホスト型スクリーニングサービス、ローカルで動作する分類器、およびチェックと対応を調整するオーケストレーションを組み合わせて実装する場合もあります。

導入上の制約を明らかにする質問を用いて、選択肢を評価する:

  • このチェックでは、必要な範囲(該当する場合は、取得されたコンテンツやツールの操作を含む)が検査されていますか?
  • チームは、自チームの言語やビジネス状況に合わせて、ポリシー、対応策、および閾値を設定することはできますか?
  • 機密データは、処理、ログ記録、保存、およびサポートの各段階において、どのように扱われるのでしょうか?
  • 必要なチェックは、ワークフローのレイテンシおよび可用性の制限範囲内で完了できますか?
  • バージョン、決定事項、エラー、およびそれらに起因する結果について、評価や調査を行うことは可能ですか?
  • チームは、失敗した操作を安全に制限し、認証をバイパスすることなく復旧させることができるでしょうか?

ホスト型サービスを利用することで、運用作業の一部を軽減できます。オンプレミス型を運用すれば、デプロイメントをより細かく制御できる一方で、ホスティング、評価、更新の責任はチーム側に移ります。カスタムルールはビジネスの制約にきめ細かく対応できますが、セマンティック検出には追加の手法が必要になる場合があります。

GovTechの選定ガイドラインでは、代表的な要件に照らして、既製のオプションとカスタマイズ可能なオプションを評価することを推奨しています。総コストを比較する際には、統合、保守、レビューの作業負荷、およびインシデント対応も考慮に含めてください。

AIの限界と、ガードレールにおける一般的な失敗事例

ガードレールには、検知漏れ、統合上のギャップ、および周辺システムの変更といった要因により、残存リスクが残ります。導入環境が保護されているように見えるにもかかわらず、期待される結果が得られない場合は、これらの故障モードを見直してください。

  • 最初のプロンプトのみをスクリーニングします。検索された文書、ツールの応答、およびその後の会話のやり取りには、新たな内容が含まれる可能性があります。それらの入力がワークフローに組み込まれる箇所にチェックポイントを設けてください。
  • ‍「有効な構造」と「有効な意味」を混同している。レスポンスはスキーマに合致していても、間違った顧客名を指定していたり、許可されていないアクションを提案していたりする可能性がある。関連するビジネス上の事実と権限は、それぞれ個別に検証する必要がある。
  • ‍評価を行わずに裁判官を信頼すること。監督に用いられるモデルは、分類ミスを起こす可能性がある。意見の相違や不確実な事例を見直し、厳格な制約については実行可能なルールを維持する。
  • ‍根拠のある記述を、事実として確定したものとみなすこと。引用元が古い情報であったり、主張を裏付けるものでなかったりする可能性があります。証拠を確認し、回答を控えるべき場合を明確に定義してください。
  • ‍コントロール周辺の代替経路を許可する。フォールバックモデル、バックグラウンドワーカー、または変更されたツールは、保護された経路を迂回することができる。リリースレビューには、これらの経路を含めること。
  • ‍アラートの減少を、セキュリティ対策の強化と解釈すること。アラートの減少は、トラフィックの減少、ロギングの弱体化、しきい値の変更、あるいは真の改善のいずれかを反映している可能性があります。結論を出す前に、結果と本番環境での変更点を精査してください。

重要な点は、現在の状況下でもアプリケーションが意図したポリシーを依然として遵守しているかどうかである。分類器の元のスコアだけを再確認しただけでは、この疑問には答えられない。

AIのガードレールをセキュリティ運用に連携させる

ガードレールの判断は、アプリケーションが何をチェックしたかを明らかにします。エンタープライズセキュリティのテレメトリは、どのID、ツール、システムが実際に何を行ったかを特定するのに役立ちます。不審なやり取りがアプリケーションの境界を越えた場合、調査にはこの両方の視点が必要です。

イベント記録案として、リクエストまたはタスクの識別子、関連するユーザーおよびエージェントのID、ポリシーのバージョン、チェック結果、適用決定、対象リソース、承認参照情報、および実行結果を記録する。これらを、利用可能なサービス監査記録およびネットワーク記録と照合する。欠落している証拠については、明示的に記録する。

証拠そのものを保護してください。OWASPのロギングに関するガイダンスでは、機密情報や不要な機微なデータを除外しつつ、アクセスを制限し、不正な変更を検知することを推奨しています。デフォルトでは、プロンプトの全文やモデルの推論内容を記録しないようにし、組織のデータ取り扱い規則に従って、タスクに必要な証拠のみを収集してください。

影響を受けた業務を制限し、関連記録を保存し、封じ込め状況を確認できるインシデント担当者を任命してください。確認された障害や、ブロックされた正当なケースを、その後の評価に反映させてください。GovTechのモニタリングガイダンスには、この運用上のフィードバックプロセスについて記載されています。

Vectra AIのAIネイティブなセキュリティおよび可観測性へのアプローチは、ワークフローで企業のIDや接続されたインフラストラクチャが使用される場面で有効です。同社のIDベースの攻撃検知および封じ込めのユースケースでは、ネットワークやクラウド全体にわたる人間および非人間のIDアクティビティを相関分析し、認証情報の不正使用を調査する方法が説明されています。これは、関連するアクティビティが可観測である場合におけるアプリケーションのガードレールを補完するものです。

評価を行う際は、具体的なワークフローを用意し、どのアイデンティティ、統合機能、アクション、および成果を監視・対応できるかを確認してください。その対応範囲を評価する準備が整っているチームは、デモをリクエストできます。

注:本ガイドは、一次調査と公安に関する指針をまとめたものです。実施の枠組みおよび企業シナリオは、提案された指針です。

よくある質問 (FAQ)

AIのガードレールの例にはどのようなものがありますか?

AIの安全対策は「prompt injection 」を食い止められるのか?

AIのガードレールは幻覚を防ぐことができるのか?

AIによる安全対策は、アクセス制御に取って代わるのでしょうか?

AIの安全対策については、誰が責任を負うのでしょうか?