- 有効な認証情報があっても、エージェントのそのタスクに対する行動が承認されていたとは限らない。
- タスクの文脈と独立したシステム記録を照合することで、エージェント自身の説明のみに頼る場合よりも、調査の信頼性が高まる。
- ポリシーチェックと行動分析は、それぞれ異なる目的を果たします。すなわち、既知の境界を強制することと、不審な一連の動作を調査することです。
- モニタリングの網羅性は、欠落している証拠や確認済みの封じ込め状況、ならびにアラートの品質を通じて測定すべきである。
AIガードレールとは、AIシステムの入力、データ、出力、および提案されたアクションを、定義されたポリシーに照らして検証する制御手段のことです。2026年11月に改訂されたBELLS-Oベンチマークでは、17社の開発者が提供する33の監視システムを評価しており、タスクによって検出率、誤検知率、遅延、およびコストにばらつきがあることが明らかになりました。企業チームにとっての実践的な教訓は、保護すべきワークフローに適した制御手段を選択し、テストを行うことです。
質問に答えるだけのカスタマーアシスタントと、機密文書を検索したり、顧客記録を更新したり、支払いを開始したりできるエージェントとでは、必要な保護措置が異なります。効果的なガードレールとは、ポリシーの決定と強制される結果を結びつけ、何が起きたかを確認できる十分な証拠を残すものです。
AIガードレールは、コンテンツや提案された行動が定義された要件を満たしているかどうかを評価し、満たしていない場合には対応をトリガーします。対応には、説明の追加、情報の削除、拒否、実行の制限、または担当者へのエスカレーションなどが含まれます。アプリケーションは、その対応を確実に実行しなければなりません。
大規模言語モデル(LLM)のアプリケーションでは、ガードレールによってプロンプトや生成された回答が検査されることがよくあります。また、企業での導入においては、検索された文書、ツールの呼び出し、共有メモリ、リソース消費などに対しても制御が設けられる場合があります。この用語はいくつかの機能を網羅しているため、実装にあたっては、各制御が具体的に何をチェックし、何を防止できるのかを明確に特定する必要があります。
シンガポールの『Responsible AI Playbook』では、アプリケーションのガードレールをLLMとは独立したコンポーネントとして定義しています。この分離により、チームは、対象となるモデルとは独立して、制御機能を評価・更新することが可能になります。
モデルアラインメントは、学習や関連する手法を通じてモデルの挙動を形作ります。ランタイム・ガードレールは、デプロイ後に特定の相互作用を評価します。安全でないリクエストを拒否するように学習されたモデルであっても、機密情報や承認済みトランザクションに関するアプリケーション固有のルールが必要となる場合があります。
AIガバナンスでは、ユースケースの承認権限、許容可能なリスクの定義、および継続的な見直しの責任の所在を明確にします。ガードレールは、アプリケーション内で選定された要件を実装するものです。NISTのAIリスク管理フレームワークは、AIのライフサイクル全体にわたるリスクを管理するための、より広範な任意の枠組みを提供しています。
例えば、ガバナンスでは、制限付き文書の外部への開示が禁止されている場合があります。検索権限、出力内容の検査、および送信先の制限は、そのポリシーの実施に役立ちます。フィルターだけでは、組織全体がそのポリシーを遵守していることを保証することはできません。より広範な監視の問題については、「AIガバナンスツール」を参照してください。
企業は、不適切な出力のリスク、機密データの漏洩、および不正な行為を低減するために、AIのガードレールを必要としています。AIシステムが企業の情報やツールにアクセスできるようになるにつれ、必要な保護策は、各アプリケーションが何を公開し、決定し、変更し得るかによって異なります。
4つの異なる障害経路について考えてみましょう:
それぞれに異なる制御と異なる検証が必要です。毒性検出機能は文書のアクセス権限を決定するものではなく、また、正当な文書へのアクセス権限があっても、外部への開示が許可されるわけではありません。
Prompt injection このため、この分離が特に重要となります。英国国立サイバーセキュリティセンター(NCSC)は、LLMには本質的に、命令と信頼できないデータとの間にセキュリティ境界を強制する機能がないと説明しています。同センターによるプロンプト注入分析は、この制限を踏まえたアプリケーション設計を支援するものであり、これには、改ざんされたモデルに与えられる権限を制限することも含まれます。
AIのガードレールを整理する実用的な方法として、それらが保護する境界ごとに分類する方法があります。以下の分類は、普遍的な基準というよりは、実装の参考となるものです。それぞれが異なる障害経路に対処しているため、1つのインタラクションに対して複数の分類が当てはまる場合もあります。
GovTechのガードレール・アーキテクチャに関するガイダンスでは、入力、取得、出力、ツールの使用、およびインタラクション後の各段階におけるチェックを区別しています。チェックの配置によって、そのチェックがどのような障害を検知できるか、また適時に措置を講じることができるかが決まります。
保護対象の範囲と検出メカニズムは、それぞれ別個に選択可能です。決定論的なチェックにより、支出の上限や許可された宛先を強制することができます。学習済みの分類器は、定義されたコンテンツカテゴリを検出できます。LLMによる判定では、提案されたアクションがタスクと整合しているかどうかを評価できます。
明確な答えがある要件には、厳密なルールを適用してください。意味的な判断には、評価済みの誤り率を備えた分類器やモデルが必要になる場合があります。あるアクションが妥当であるとモデルが判断することと、そのアクションが許可されているかどうかを確認するサービスとは、区別して扱う必要があります。
各制御が異なる脆弱性に対処している場合、多層的なアプローチが有効です。類似した分類器を複数追加しても、未対処の実行経路を遮断できないまま、レイテンシが増加する可能性があります。また、チームは、これらのチェックを通過した活動を調査し、いつ介入すべきかを判断するために、エージェントの挙動を個別に可視化する必要があります。
セキュリティ対策が施されたアプリケーションでは、保護対象の操作が実行される前に、各チェックと定義済みの対応を関連付けます。以下のフローは、設計の参考となる有用な基本例であり、実際のチェック内容はアプリケーションのリスクに応じて選択されます。
出力ガードレールには、通常のアプリケーションセキュリティ対策も必要です。有効な JSON レスポンスには、許可されていないアカウント識別子が含まれている可能性があります。生成された SQL に対しても、安全なデータベース処理が依然として必要であり、ブラウザのコンテンツにはコンテキストに応じたエンコードが必要です。OWASP の「不適切な出力処理」に関するガイダンスでは、生成されたテキストが下流のソフトウェアで利用される前に、なぜ検証が必要なのかが説明されています。
これらの制御機能は、インフラストラクチャ、依存関係、認証情報、デプロイメント構成なども含む、より広範なLLMセキュリティスタックの一部を構成しています。
ブロッキングチェックは、保護対象のイベントが発生する前に完了していなければなりません。ポリシーで外部ファイルの転送が禁止されている場合、転送は有効な決定が下されるまで待機しなければなりません。転送完了後にフラグを立てる非同期チェックは、検知と対応を支援しますが、すでに完了してしまった情報漏洩を防ぐことはできません。
並列チェックは、それらが互いに独立している場合、待ち時間を短縮することができます。ただし、実行サービスは依然として、必要なすべての決定を待つ必要があります。結果がないことを「承認」とみなすのではなく、未完了のチェックを明示的な状態として扱うようにしてください。
このタイミング上の区別は、アーキテクチャ上の要件です。つまり、制御は、そのイベントを停止させることができる間のみ、そのイベントを防ぐことができます。
ストリーミングには、慎重なリリース方針が必要です。アプリケーションが生成したテキストを検証せずに送信してしまうと、ガードレールが異議を唱えた時点で、機密情報がすでに公開されてしまっている可能性があります。機密性の高い応答をバッファリングしたり、区切り単位で検証を行ったり、特定のワークフローではストリーミングを制限したりすることを検討してください。セグメントの境界をまたぐコンテンツについては、テストを行ってください。
保護対象の各操作について、タイムアウトおよび失敗時の挙動を定義します。機密性の高いエクスポートについては、必要な認証チェックが利用できない場合は、引き続きブロックされた状態を維持する必要があります。リスクの低いアシスタントの場合は、承認済みの静的なヘルプページを返すなど、制限付きの代替手段を提供してもよいでしょう。
タイムアウト後に、制限のないルートへ黙って切り替えないようにしてください。GovTechによる本番環境への統合に関するガイダンスでは、明示的な応答、失敗時の挙動、およびガード付きフロー全体の評価を行うことを推奨しています。
情報の取得には、どのような情報がコンテキストに取り込まれるかという問題が生じます。ツールの導入には、どのような操作が実行されるかという問題が生じます。こうした決定には、情報を取得し、アクションを実行するサービスにおける制御が必要です。
検索強化生成(RAG)は、モデルが質問に回答できるよう、外部情報をモデルに提供します。ドキュメントのアクセス権限は、チャンク化やインデックス作成の過程でも維持されなければならず、コンテンツが取得される際に確認される必要があります。また、アクセス権限の変更は、派生インデックスや関連するキャッシュにも反映される必要があります。
OWASPのRAGセキュリティガイダンスでは、取得されたチャンクへのアクセスメタデータおよびテナント間の分離を推奨しています。保存された会話状態や共有メモリについては、それらの機能が存在する場合、同等の境界を適用してください。
たとえば、プロジェクトへのアクセス権を失った従業員が、古いキャッシュされた回答を通じてその情報を再び入手できてはなりません。ソース文書、取得されたチャンク、およびキャッシュされた応答を、相互に関連するパスとしてテストしてください。
根拠の確認は別の問題です。検索結果の文書に回答が添付されていることを確認したからといって、その文書が真実であるとは限りません。OWASPの誤情報に関するガイダンスにも記載されているように、情報源の検証と適切な人的レビューは依然として重要です。
AIエージェントは操作を提案することはできますが、実行サービスは、本人確認、要求されたアクション、対象、および権限を独自に検証する必要があります。利用可能なツールや認証情報を、そのタスクに必要な範囲に限定してください。リスク評価には、書き込みや削除に加え、機密情報の読み取りや外部への開示も含めるようにしてください。
オーストラリア通信局(ASD)が2026年9月に発表した「エージェント型AIハーネス」に関するガイダンスでは、ハーネスを「モデルと組織のデータ、ツール、システムを結びつけるソフトウェア」と定義している。この接続部分こそが、多くの組織的統制措置が機能し得る場である。
累積的な影響についても考慮してください。個別に許可された読み取り操作が連続して行われると、通常よりも膨大なデータセットが蓄積される可能性があり、また、小規模な操作が繰り返されることで、想定していたタスクの予算を超えてしまう可能性があります。個々の呼び出しだけでなく、ワークフロー全体についても評価してください。
承認プロンプトは、実行が有効な承認を待機している場合にのみ役立ちます。レビュー担当者に、操作内容、宛先、影響を受けるリソース、および関連するパラメータを表示してください。これらが変更された場合は、新たな決定を求めます。
OWASPの「AIエージェントのセキュリティ・チートシート」では、エージェントのコンテキスト外で認証を適用し、承認を現在のアクターおよび正確なツール呼び出しに紐付け、有効期限とリプレイ防止対策を講じることを推奨しています。モデルによって生成された確認フラグだけでは不十分です。
承認には明確な制限も必要です。つまり、ある人物による承認であっても、その人物が保有していない権限を無効にしてはなりません。エージェント型AIのセキュリティにおける、より広範な制御方法について検討してください。
架空の調達アシスタントを例に、強制された成果を評価する方法を説明します。このアシスタントに割り当てられた業務は、承認済みのサプライヤーとの契約内容を要約し、社内の契約更新通知案を作成することです。以下は、報告された事例や完了した実験ではなく、合成文書を用いたテスト案です。
サプライヤーの文書に、アシスタントに対して無関係な契約書を取得し、外部の宛先に送信するよう指示する内容が含まれていると仮定する。このテストでは、入力検出器がそれらの指示を見逃してしまった場合を含め、関連するすべての境界条件を検証する必要がある。
期待される結果は明確です。つまり、禁止されている転送は決して実行されないということです。アシスタントがリクエストを拒否したという最終メッセージだけでは、これが確認されたことにはなりません。下流のサービスおよび関連するネットワークやアプリケーションのログを確認し、転送の試行や完了の有無を確認してください。
正当なケースも実行してみてください。アシスタントは、依然として承認済みのサプライヤー契約を取得し、社内用草案を作成すべきです。すべてのリクエストをブロックするシステムでは、承認済みのワークフローが使用できなくなるため、このテストによる悪影響を回避することになります。
この例では、3つの知見を区別している。すなわち、スクリーニングによってその挿入が検出されたかどうか、承認プロセスによってその結果として提示された提案が制限されたかどうか、そして正当なタスクが依然として有用であったかどうかである。
まずは、範囲が明確なワークフロー、文書化されたポリシー、そして確認可能な成果から始めましょう。チームが、各制御措置によってどの操作が許可され、どの操作が阻止されるか、また障害がどのように処理されるかを示せるようになった段階で、展開を拡大してください。
H3 検証可能な方針と責任の所在を明確にする
大まかな目標を、具体的に確認可能な要件に落とし込みます。「機密情報を保護する」という表現を、「サプライヤーアシスタントは、現在のユーザーに対して承認されたレコードのみを取得でき、契約内容を外部へ送信してはならない」といった要件に置き換えます。
方針の決定は事業責任者またはリスク責任者に、アクセスルールはデータ所有者に、実装はアプリケーションまたはプラットフォームチームに、不正利用の調査はセキュリティ部門に割り当てます。ワークフロー全体を統括するサービス責任者を1名指名してください。
要件を満たせない場合、システムがどのように振る舞うべきかを文書化してください。明確化、不実施、制限付き動作、および人間による確認は、それぞれ異なる対応策であり、ユーザーに与える影響も異なります。
重要なルールがあるたびに、簡単な管理記録を作成してください:
この記録を利用して、見落とされているパスを特定します。ポリシーで外部転送が禁止されているにもかかわらず、その制御手段が出力メッセージフィルタのみである場合、そのアクションパスに対しても依然として強制措置が必要です。
アプリケーションが対応している場合は、代替モデル、再試行、バックグラウンドジョブ、キャッシュされた結果、および委任エージェントを含めること。制御設計は、ソフトウェアが実際にたどることができる経路に従わなければならない。
制御されたパイロット運用を行い、検出漏れや不要なブロックを点検します。観察モードでの評価は、既存の保護機能が有効なまま、新しい検出器の調整を行うのに役立ちます。影響の大きい権限については、パイロット運用を開始する前に、あらかじめ制限を設けておく必要があります。
モデル、プロンプト、ガードレール、ポリシー、およびツールの設定をバージョン管理します。各リリースを裏付ける評価結果を保存しておきます。ガードレールモデルに変更がなくても、検索範囲や利用可能なツールの変更によってリスクが変化する可能性があります。
制限付きのフォールバックと、影響を受ける操作を無効にする方法を用意してください。不具合のある検出機能をロールバックしても、ツールに対する広範な権限が自動的に復元されてはなりません。重要な変更を行った後は、フロー全体を再評価してください。
個々の検出器とアプリケーション全体の両方を評価します。検出器のスコアは、その検出器が検査したケースを反映したものです。一方、エンドツーエンドのテストでは、保護されたワークフローが許容可能な結果を生み出しているかどうかが明らかになります。
通常のリクエスト、曖昧なケース、禁止されている操作、および現実的な敵対的コンテンツを含める。サービスが実際に遭遇する言語、ドキュメント形式、ロール、およびデータ境界を使用する。チューニング用の例と、評価用に除外されたケースを区別する。
調達に関する例としては、正当な要約、不正な記録開示請求、取得した資料に埋め込まれた指示、転送先の変更、承認の再実行、古いキャッシュされた回答、利用できないポリシーサービスなどが有用なテストケースとなります。対応している場合は、マルチターンやマルチモーダルなバリエーションを追加してください。
各テストを実行する前に、期待される結果を明記してください。ポリシーと設定のバージョン、判定結果、および実際のダウンストリームでの結果を記録してください。繰り返し試験を行った場合は、実行回数と結果のばらつきについて報告してください。小規模なテストセットで合格したとしても、それはそのセット内で観察された結果に過ぎません。
有用なスコアカードは、セキュリティと使いやすさを可視化してくれます。以下の指標は評価基準の提案であり、その閾値は、無関係なベンチマークから借用したものではなく、アプリケーションのリスク責任者によって設定されるものです。
分母を慎重に定義すること。プロンプト1回あたりの攻撃成功数は、セッションあたりの攻撃成功数とは異なる。特に、繰り返し試行が許可されている場合はなおさらである。検出フラグ、強制ブロック、操作の試行、および完了した有害なアクションを区別すること。
稼働中のシステムにおいては、有害な結果のすべてが直接観察できるわけではありません。サンプリングによるレビュー、制御されたテスト、インシデントの証拠、および運用テレメトリを組み合わせて分析してください。検出されたインシデントの件数が少ないからといって、見逃し率が低いとは断定できません。
BELLS-Oの11月の改訂版によると、監視タスクにはそれぞれ異なる運用上のトレードオフがあることが示されています。その研究論文の全文では、モデレーション、ジェイルブレイク、プロンプト注入の検出を、互いに置き換え可能なものとして扱うのではなく、それぞれ個別に区別しています。
本調査では、マルチターン攻撃、エージェントによる展開、および実際の本番トラフィックについては評価対象としていません。一部のシステムはタスクセットの一部のみについて評価されており、測定された遅延はサーバー側の設定によって異なります。調査結果を活用して候補リストと評価計画を策定し、その後、想定されるワークフローをテストしてください。実験室での結果だけでは、企業における措置が安全に承認されることを立証することはできません。
同じワークフロー、ポリシー要件、評価セットに基づいてツールを選択します。ニーズに応じて、アプリケーションルール、ホスト型スクリーニングサービス、ローカルで動作する分類器、およびチェックと対応を調整するオーケストレーションを組み合わせて実装する場合もあります。
導入上の制約を明らかにする質問を用いて、選択肢を評価する:
ホスト型サービスを利用することで、運用作業の一部を軽減できます。オンプレミス型を運用すれば、デプロイメントをより細かく制御できる一方で、ホスティング、評価、更新の責任はチーム側に移ります。カスタムルールはビジネスの制約にきめ細かく対応できますが、セマンティック検出には追加の手法が必要になる場合があります。
GovTechの選定ガイドラインでは、代表的な要件に照らして、既製のオプションとカスタマイズ可能なオプションを評価することを推奨しています。総コストを比較する際には、統合、保守、レビューの作業負荷、およびインシデント対応も考慮に含めてください。
AIの限界と、ガードレールにおける一般的な失敗事例
ガードレールには、検知漏れ、統合上のギャップ、および周辺システムの変更といった要因により、残存リスクが残ります。導入環境が保護されているように見えるにもかかわらず、期待される結果が得られない場合は、これらの故障モードを見直してください。
重要な点は、現在の状況下でもアプリケーションが意図したポリシーを依然として遵守しているかどうかである。分類器の元のスコアだけを再確認しただけでは、この疑問には答えられない。
ガードレールの判断は、アプリケーションが何をチェックしたかを明らかにします。エンタープライズセキュリティのテレメトリは、どのID、ツール、システムが実際に何を行ったかを特定するのに役立ちます。不審なやり取りがアプリケーションの境界を越えた場合、調査にはこの両方の視点が必要です。
イベント記録案として、リクエストまたはタスクの識別子、関連するユーザーおよびエージェントのID、ポリシーのバージョン、チェック結果、適用決定、対象リソース、承認参照情報、および実行結果を記録する。これらを、利用可能なサービス監査記録およびネットワーク記録と照合する。欠落している証拠については、明示的に記録する。
証拠そのものを保護してください。OWASPのロギングに関するガイダンスでは、機密情報や不要な機微なデータを除外しつつ、アクセスを制限し、不正な変更を検知することを推奨しています。デフォルトでは、プロンプトの全文やモデルの推論内容を記録しないようにし、組織のデータ取り扱い規則に従って、タスクに必要な証拠のみを収集してください。
影響を受けた業務を制限し、関連記録を保存し、封じ込め状況を確認できるインシデント担当者を任命してください。確認された障害や、ブロックされた正当なケースを、その後の評価に反映させてください。GovTechのモニタリングガイダンスには、この運用上のフィードバックプロセスについて記載されています。
Vectra AIのAIネイティブなセキュリティおよび可観測性へのアプローチは、ワークフローで企業のIDや接続されたインフラストラクチャが使用される場面で有効です。同社のIDベースの攻撃検知および封じ込めのユースケースでは、ネットワークやクラウド全体にわたる人間および非人間のIDアクティビティを相関分析し、認証情報の不正使用を調査する方法が説明されています。これは、関連するアクティビティが可観測である場合におけるアプリケーションのガードレールを補完するものです。
評価を行う際は、具体的なワークフローを用意し、どのアイデンティティ、統合機能、アクション、および成果を監視・対応できるかを確認してください。その対応範囲を評価する準備が整っているチームは、デモをリクエストできます。
注:本ガイドは、一次調査と公安に関する指針をまとめたものです。実施の枠組みおよび企業シナリオは、提案された指針です。
ドキュメントアシスタントは、機密ファイルを取得する前に、リクエストを行ったユーザーの権限を確認することができます。その後、別の出力チェックによって、回答案の中に機密情報が含まれていないかを確認することができます。これらの制御は異なる段階で機能するため、それぞれに対して個別のテストが必要です。
ガードレールは、プロンプト注入の試みを検知・阻止することはできますが、その防止を保証するものではありません。モデルが利用できるデータやツールを制限し、権限を個別に適用するとともに、リクエストがスクリーニングを通過した後の動作を監視してください。
根拠の確認、情報源の検証、および人間による審査を行うことで、根拠のない回答のリスクを低減できます。ただし、特に情報源自体が誤っている場合や不完全な場合には、事実の正確性を保証することはできません。システムが回答を控えるべき場合や、上位の担当者にエスカレーションすべき場合を明確に定義してください。
いいえ。コンテンツのスクリーニングだけでは、ユーザーやエージェントがデータにアクセスしたり、操作を実行したりする権限があるかどうかは確定しません。検索サービス、アプリケーション、またはツールは、現在の識別情報、リソース、アクション、および適用される権限を独自に検証する必要があります。
ワークフロー全体で責任の所在を明確にします。ビジネスおよびリスクの責任者は許容可能な成果を定義し、アプリケーションおよびプラットフォームチームは統制措置を実施し、セキュリティチームは不正利用の評価と対応を行い、データ所有者はアクセスルールを設定します。指名されたサービス責任者は、変更を調整し、不備を解消する必要があります。