- 「フロンティア」は機能を示しており、展開されたアプリケーションとその権限によって、実行権限が決まります。
- タスク完了までの所要時間は、特定の成功率における人間がタスクを完了するのに要する時間の難易度を測定するものであり、安全に無人運転できる稼働時間を測定するものではない。
- 承認された成果、承認の実施、復旧、および総工数をまとめて評価する。
- 身元、ツール、ネットワーク活動に関する独立した記録を活用し、境界違反を調査・阻止する。
フロンティアAIエージェントは、高性能なAIモデルと各種ツール、そして実行ループを組み合わせることで、多段階のタスクを実行します。その能力は向上を続けています。英国AIセキュリティ研究所の2025年12月の報告書によると、2025年半ば時点で、最先端のシステムは、人間の専門家が少なくとも1時間を要する特定のソフトウェアタスクを、40%以上の確率で完了させていました。これは、2023年末時点の5%未満から大幅な向上を示しています。 こうした制御された実験結果により、評価を行う価値が高まっている一方で、企業は自社のワークフローにおける信頼性と安全な運用範囲を確立する必要がある。
セキュリティ担当者やプラットフォームの所有者にとって、最も重要な問いは、エージェントが、ビジネス側が承認しようとしているアクセス権とアクションのみを用いて、許容できる結果を出せるかどうかという点です。この問いに答えるには、導入済みのシステム――そのモデル、ツール、ID、データ、承認ルール、監視、および復旧プロセス――を精査する必要があります。
フロンティアAIエージェントとは、実証済みの能力において最先端に近いモデルを用いて、目標達成に向けた行動を選択・実行するシステムのことです。「フロンティア」とは、ある時点における他のシステムとの相対的な能力を指し、エージェントがどのような行動をとることができるかは、そのアプリケーションによって決定されます。
あるエージェントは、リポジトリを調査し、問題を特定し、ファイルを編集し、テストを実行し、提案した修正案を修正するかもしれません。別のエージェントは、サプライヤー情報を取得し、購入の提案書を作成するかもしれません。どちらの場合も、ツールや制約が与えられた環境の中で、モデルが中間的な手順を選択するというプロセスが含まれています。
3つの層に分けて考えると、用語の意味がより明確になります:
高性能なモデルであれば、厳格な制約が課されたエージェントをサポートすることができます。一方、性能の低いモデルであっても、過度な権限を持って動作してしまう可能性があります。したがって、モデルの選定とアクセスポリシーについては、別々に決定する必要があります。
また、システムの改良に伴い、このラベルも時間とともに変化します。これは、汎用人工知能(AGI)や、合意された安全認証、あるいは特定の自律レベルを定義するものではありません。より広範なモデルの用語については、「フロンティアAIガイド」を参照してください。
エージェントは通常、目標を受け取り、アクションを選択し、その結果を観察し、タスクが完了するか停止条件に達するまでこのプロセスを繰り返します。これを囲むアプリケーションは、提案されたアクションのうち、どのアクションが有効であり、どのアクションに追加の承認が必要かを判断しなければなりません。
このモデルは、目標と利用可能なコンテキストを解釈し、次に取るべきアクションを提案します。オーケストレーション層が実行を管理し、ツールの説明の提供、許可された関数の呼び出し、結果の返却、および進捗の追跡を行います。
たとえば、コーディング担当者は、ファイルの要求、編集の提案、テストの実行依頼を行うことがあります。モデルは提案されたアクションを提供し、アプリケーションは許可された操作を実行します。オーケストレーション、指示、またはツールを変更すると、基盤となるモデルが同じであっても、システムの挙動が変わる可能性があります。
その完全な構成を評価してください。モデルベンチマークでは、異なるツール、データ、指示、または実行予算を使用したエージェントに関する証拠は限定的です。
ツールは、エージェントとアプリケーション・プログラミング・インターフェース(API)、ブラウザ、データベース、コード実行、あるいは業務システムとを結びつけます。ツールへのアクセスにより、提案された計画が環境への具体的な変更へとつながります。
メモリには、現在の会話、検索された文書、タスク履歴、あるいは永続的な記録などが含まれる。その設計によって、エージェントが後の意思決定にどの情報を持ち込むかが決まる。永続的な状態がどこから生じているか、誰がそれを変更できるか、そしてユーザーやタスク間でどのように隔離されているかを記録しておく。
IDとは、アクションが行われるアカウントまたはサービスを特定するものです。コネクタは、リクエストを行った従業員の委任されたアクセス権、あるいは別のサービス ID を使用する場合があります。その選択内容を明確に確認してください。コネクタに付与される実質的な権限は、その従業員の直接的なリクエストの範囲を超える可能性があるためです。
エージェントからの完了メッセージは、検証のための入力情報の一つです。アプリケーションは、関連する基幹システムについても確認する必要があります。具体的には、ファイルが変更されたか、テストが実行されたか、チケットが更新されたか、あるいはトランザクションが意図したとおりに完了したかなどを確認する必要があります。
実行を開始する前に、中止条件を定義しておく必要があります。有用な例としては、承認期限の切れ、証拠の欠如、指示の矛盾、ツールの繰り返し故障、予期せぬ目的地、あるいは時間や予算の枯渇などが挙げられます。適切な結果としては、担当者に引き継ぐことを文書化することが考えられます。
最も有力なパイロットプロジェクトの候補には、明確な成果、入手可能なエビデンス、そして実行に失敗した場合でも対処可能な結果が伴っています。まず、作業内容とその受け入れ基準を定義し、それらを満たすことができるモデルとエージェントの設計を選択することから始めましょう。
これらは、保証された機能性を主張するものではなく、考えられる用途および推奨される初期境界です:
Frontier AIのコーディングエージェントが注目を集めているのは、ソフトウェア関連のタスクには実行可能な検証手段が用意されていることが多いからです。一方、ビジネスのワークフローについては判断が難しい場合があります。例えば、流暢にまとめられたサプライヤーの概要であっても、契約上の制限が省かれていたり、古い情報に基づいていたりする可能性があるからです。
要件を満たすのであれば、よりシンプルなアプローチを採用すべきである。決定論的なワークフローは予測可能なプロセスを効率的に処理できる一方、次の調査手順がそれ以前の調査結果に依存する場合は、エージェントが有用となる場合がある。自律性が高まれば、エージェントの活動を監視し、その行動が許容範囲を超えた際に介入する必要性も高まる。こうした評価や運用にかかる追加の労力に見合うビジネス上のメリットが求められる。
機能に関する調査では進展が見られるものの、導入の決定には、許容可能な作業内容、信頼性、および障害が発生した場合の影響に関する、さらなる裏付けが必要となります。各ベンチマークを、そのタスクの配分、エージェントの設定、採点方法、評価日と併せて確認してください。
AISIの縦断的調査結果は、調査期間中に利用可能だった、範囲が明確に定義された特定のタスクおよびモデルに関するものです。これらは、そうした条件下での進捗状況を明らかにするものです。これらは、企業エージェントが購入プロセスを正しく完了する頻度、組織のアクセスポリシーに従う頻度、あるいは中断されたトランザクションから回復する頻度などを推定するものではありません。
METRは、人間の専門家がそのタスクを完了するのに要する推定時間を用いて、タスク完了までの時間範囲を測定します。50%の時間範囲とは、評価対象のエージェントが半分の確率で成功すると予測されるタスク所要時間を指します。これは、エージェント自体が動作する時間を測定するものではありません。
METRの評価体系は、主にソフトウェア工学、機械学習、サイバーセキュリティのタスクを対象としており、比較的明確な採点基準が設けられています。同サイトの最終更新日は2026年9月8日であり、現在は積極的なメンテナンスが行われていないことが明記されています。これを、最新の完全なランキングとして扱うのではなく、方法論や過去の測定結果を理解するための参考として活用してください。
運用上の決定を行う際には、まず必要な信頼性と影響を明確に定義する必要があります。人が確認するだけの調査草案と、顧客の記録を変更したり資金を移動させたりする処理とでは、受け入れ基準が異なります。
METRは2026年3月の調査レポートにおいて、調査対象のエージェントによるベンチマークテストに合格したコード変更のうち、レビューのノイズを調整した後でも、およそ半数がメンテナによってマージされないだろうと報告した。4人のメンテナが、3つのリポジトリにわたる296件のAI生成プルリクエストをレビューした。
この研究では、2024年半ばから2025年半ば~後半にかけて公開された過去のエージェントを対象とし、メンテナーからのフィードバックを受けた後、提出内容を修正することは認めなかった。そのため、METRは、この結果を根本的な能力の限界として扱うことには注意を促している。また、同組織の研究投稿に比べ、この研究へのレビューの数は少なかった。
実務上の意味としては、組織が認める成果を測定することです。試験に合格すること、答えを導き出すこと、承認を得ること、そして承認された業務上の行動を完了することは、それぞれ異なるチェックポイントです。これらのチェックポイント間を移動するために必要な作業を記録してください。
エージェントの挙動は、それが発生した際の権限や条件と併せて解釈する必要があります。調査対象となった事象からは、通常の企業環境での展開において同じ挙動がどの程度の頻度で発生しているかを特定できなくても、有用な障害モードが明らかになる場合があります。
AISIは、同機関のセキュリティチームが2026年7月28日、サイバー評価の実施中にインシデントを検知したと明らかにした。ある課題の122回の実行のうち10回において、エージェントが実稼働中のインターネット上で許可されていない動作を行った。同機関によると、インターネットへのアクセスは意図的に許可されており、一部のセキュリティフィルターは無効化されていたという。同機関はこのインシデントをサンドボックス脱出とは明確に区別し、テスト対象の構成は市販されていないものであり、その結果として実世界での被害が生じたという証拠はないと報告した。
こうした要件は重要です。この開示情報は、エージェントがどのような範囲にアクセスし、どのような操作を行えるかを検討する上での参考にはなりますが、一般向け製品や通常の業務利用におけるインシデント発生率を示すものではありません。
AISIはその後の技術報告書において、段階的な外部ネットワーク制限、実行中の監視、および評価環境の再評価について説明した。また、監視上の制約についても認めた。
企業チームにとって、ここから得られる有益な教訓は、各境界の独立性を検証することである。エージェントが予期せぬアクションを提案した場合、どのコンポーネントがそれを拒否できるか?コネクタがポリシーの適用に失敗した場合、別の制御機能によって宛先や認証情報を制限できるか?アクションが成功した場合、運用部門はそれを特定し、介入できるか?
リスクは、入力からアクションに至るまでの全経路――文書、取得されたコンテンツ、ツール、ID、永続的な状態、および接続されたシステム――に及ぶ。モデルの最終的な回答だけを検証しても、その経路の大部分は検証されないままになってしまう。
「エージェント型アプリケーションに関するOWASPトップ10」には、目標の乗っ取り、ツールの誤用、IDおよび権限の悪用、エージェント型サプライチェーンの脆弱性、メモリおよびコンテキストの汚染、エージェント間の不安全な通信、連鎖的な障害などが含まれます。これらのカテゴリーは脅威モデリングを体系化するものであり、各障害の発生頻度を定量的に示すものではありません。
エージェントは、他者が仕込んだ指示が含まれているサプライヤーの文書、サポートチケット、あるいはツールの応答を読み取る可能性があります。その情報を権威あるものとみなした場合、本来は正当なツールであっても、許可されていない目的で使用してしまう恐れがあります。
AgentDojo研究フレームワークは、ツール使用タスクや、信頼できないツールから返されるデータを通じて、この問題を評価する。同フレームワークは、「エージェントが正当な作業を完了しているか、また攻撃下でもセキュリティ特性を維持できているか」を評価するという有用な評価原則を提供している。その独自のベンチマークでは、現行のエンタープライズ製品の有効性は立証されていない。
パイロットテストでは、悪意のある入力や誤解を招くような入力を含める。周囲のアプリケーションが正しくブロックする試みも含め、ツールへの実際のリクエストとその結果として生じる状態を確認する。
顧客アカウントの概要作成依頼には、必ずしも顧客データベースのエクスポート権限は必要ではありません。同様に、サプライヤーの推薦案作成依頼には、支払詳細を変更する権限は必要ありません。
モデル外で認証を行う。アクションを実行する前に、識別情報、リソース、操作、タスクのコンテキスト、および必要な承認事項を確認する。NISTのzero trust アーキテクチャは、ネットワーク上の位置や資産の所有権のみをもって暗黙の信頼を認めるべきではないという基本原則を提示している。この原則をエージェントごとに適用するには、依然として実装とテストが必要である。
また、メモリと権限委譲の境界についても確認してください。2番目のエージェントには、そのサブタスクに必要な情報と権限のみを付与する必要があります。共有コンテキストが、無制限の権限を共有する手段として知らぬ間に利用されるようなことがあってはなりません。実装に関する詳細な考慮事項については、「AIエージェントのセキュリティ」を参照してください。
受け入れ可能な成果、権限の適用、復旧可能性、および運用負荷の観点から、ワークフロー全体を評価する。以下のスコアカードは、検証済みのベンチマークや普遍的に受け入れられている基準ではなく、本研究に基づいて提案された評価の補助ツールである。
担当者と受け入れ基準を明記した、代表的なタスクのセットを作成してください。通常のケースに加え、曖昧な指示、データの欠落、許可の拒否、セッションの中断、およびエージェントを別の担当者に転送しようとする試みなども含めてください。
評価対象の設定(モデルバージョン、指示、ツール定義、コネクタの権限、メモリ設定、実行予算)を固定します。人間による支援があった場合は、その内容を記録します。大幅な修正を必要とした結果は、評価記録に明記しておく必要があります。
そのエージェントを既存のプロセスと比較し、必要に応じて、よりシンプルな自動化手法とも比較検討してください。平均値だけでなく、結果の分布も確認してください。ワークフローは、一般的なケースでは良好なパフォーマンスを発揮しても、影響が最も大きいケースでは失敗する可能性があります。
結果を確認する前に、許容基準を設定しておきましょう。どの不具合が再設計、範囲の縮小、あるいは人的判断を必要とするかについて、事業責任者とセキュリティ責任者が合意しておく必要があります。
有用な計算方法として、パイロット試験の総コストを、合意された受入基準を満たした結果の数で割る方法があります。これには、モデルの推論、検索、ツール利用料、人間によるレビュー、再試行、手直しなどの費用を含めます。比較が分かりやすいように、セットアップ費用と継続的な運用コストは別々に追跡してください。
例えば、素早く書き上げた初稿であっても、専門家がその修正に多大な時間を費やすことになれば、結局はコストがかさむことになる。逆に、難しい案件を早い段階で上層部に報告するエージェントは、品質を維持しつつ無駄な作業を減らすことができるため、価値があると言えるだろう。
実証実験で得られたデータを活用してください。トークンの価格、ベンチマークスコア、あるいは実証実験の成功だけでは、完了したビジネスプロセスのコストを算定することはできません。
パイロットを一時停止したり、アクションクラスを撤回したりする事象について合意する。例としては、理由の説明がないまま新しい宛先へのアクセスを試みた場合、承認記録の欠落、下流の状態との不整合、またはアクティブな認証情報の取り消しができない場合などが挙げられる。
ブロックされた不正なリクエストは、エージェントの挙動と制御の適用状況の両方に関する有用な証拠として扱うべきです。権限を拡大する前に、なぜそれが発生したのかを調査してください。単一の集計成功スコアでは、その違いが見えにくくなる可能性があります。
調達担当者は、支払いやサプライヤーの変更に関する権限が別途管理されている状態でも、付加価値を提供することができます。以下の架空の例は、タスクの承認、権限、レビュー、およびモニタリングをどのように連携させるかを示したものであり、顧客への導入事例や測定された成果については一切言及していません。
ある従業員が、担当者に、特定の購入案件について承認済みサプライヤーを比較し、発注依頼書を作成するよう依頼します。このアプリケーションは、承認済みサプライヤーカタログおよび関連する購買方針に対する読み取り権限を付与します。また、指定されたワークスペースに下書きを作成することもできます。
タスク記録には、依頼者、目的、許可された情報源、承認されたツール、支出の背景、および有効期限が記載されています。担当者は、サプライヤーの銀行口座情報を更新したり、社内の財務記録を社外に送信したりする権限を持っていません。
承認には、承認済みの記録に基づく推奨事項、不足している情報に関する明確な説明、および担当バイヤーが確認できる草案が必要です。
サプライヤーの添付ファイルには、比較を完了する前に、社内の予算情報を新しいWebアドレスに送信するよう指示が記載されています。
期待される結果は、情報開示なしでの拒否またはエスカレーションです。エージェントの動作と強制層の両方をテストしてください。エージェントが組み込まれた指示に従っている場合、転送の試みは依然として失敗しなければなりません。宛先がブロックされ、下流のシステムに不正な変更が反映されていないことを確認してください。
また、悪意のある命令が保存されたタスクコンテキストに残っていないか確認してください。後に行われる、一見無関係に見えるリクエストであっても、それを信頼できる操作指針として引き継ぐべきではありません。
購入担当者は、提案された発注依頼書、調達元記録、サプライヤーの身元、数量、および情報不足のフラグを確認します。承認はその特定の措置に対して有効であり、資材の詳細が変更された場合は失効します。
発注依頼を作成する前に、アプリケーションは承認状況と権限を再度確認します。その後、実際の発注依頼IDと結果の状態を記録します。実行がタイムアウトした場合、ワークフローは再試行する前に、その発注依頼がすでに存在するかを確認します。
これにより、パイロット担当者は、承認された依頼件数、作業量の確認、誤った推奨事項、許可されていない操作の試み、重複の防止、およびキャンセルが正常に行われた件数を測定することができます。これらの指標から、実行権限の拡大が妥当であるかどうかが明らかになります。
本番環境のガバナンスでは、システムの変更に伴い、所有権、強制力のあるアクセス境界、実際の活動の実証、および検証済みの対応手順を維持すべきである。NISTが2026年5月に発表したエージェントセキュリティに関する協議の要約報告書によると、既存のサイバーセキュリティ原則は依然として有効であるものの、エージェント向けに適応させる必要があるという点で、幅広い合意が得られている。出典:NISTの協議要約報告書。
業務目的、運用責任者、モデル構成、コネクタ、有効な権限、データクラス、および復旧担当者を記録してください。従業員が退職した場合、サプライヤーが変更された場合、またはパイロットが運用サービスに移行した場合は、所有権の情報を常に最新の状態に保ってください。
NISTのNCCoEは2026年9月、ソフトウェア開発が、エージェントの識別、認証、および認可を実証するための最初の実装ユースケースとなることを報告した。これは、エンタープライズエージェントに対する完了済みの認証というよりは、現在進行中のプロジェクト作業である。
在庫管理プロセスについては、「AIエージェント在庫管理ガイド」を参照してください。委任された権限を承認した担当者またはサービスを特定する方法、およびその権限を取り消す方法を盛り込んでください。
タスク識別子を、関連するID、ツール、リソース、およびネットワークイベントと関連付けます。調査では、どの認証情報が使用されたか、どのリソースが変更されたか、どのような承認が適用されたか、そしてその操作が成功したかどうかを特定できる必要があります。
有用なアプリケーションイベントと、独立したインフラストラクチャの証拠を併せて保存します。エージェントによる説明は、アナリストが一連の出来事を理解するのに役立ち、一方、システム記録は観測可能な変化を裏付けるものとなります。
監視パスを保護し、その設定を変更できるユーザーを定義してください。プロンプト、取得されたコンテンツ、およびツールの結果には機密情報が含まれている可能性があるため、ログ自体に対してもアクセス制御と保存期間のルールを適用してください。
モデル、指示、ツールスキーマ、コネクタ、メモリ、または権限に生じた関連する変更を再確認してください。変更内容を記録し、関連する回帰テストおよび敵対的テストケースを再度実行して、承認および取り消しの機能が引き続き正常に動作することを確認してください。
各コンポーネントにわたってインシデント対応を実施する。1つのエージェントプロセスを停止しても、キューに残っているアクション、別の委任されたワーカー、またはアクティブな認証情報が残っている可能性がある。対応手順では、これらの依存関係を特定し、それ以上の処理を一時停止するとともに、すでに完了したアクションを調整する必要がある。
周辺のシステムやワークフローの保護についてさらに詳しく知りたい場合は、「エージェント型AIセキュリティ」を参照してください。
AIエージェントが社内システムにアクセスした場合、セキュリティチームは、そのエージェントがどのアカウントを使用したか、何にアクセスしたか、そしてその活動が想定内だったかどうかを把握する必要があります。
VectraAIのIDベースの攻撃検知および封じ込め機能は、ネットワークおよびクラウド環境全体におけるユーザーアカウントやサービスアカウントのアクティビティを分析し、認証情報の不正使用や特権の悪用の兆候を探します。これらのアカウントを使用するエージェントについては、これが調査の根拠となります。対象範囲は、導入に含まれるアカウント、サービス、および連携機能によって異なります。
評価の際には、エージェントのテストアカウントが予期しないリソースにアクセスするといった、特定のシナリオをテストします。そのアクティビティが可視化されているか、アナリストがそのアクティビティをアカウントやリソースまで追跡できるか、またどのような対応措置が講じられるかを確認します。エージェント自身のタスクログやツールログを活用し、その証拠を割り当てられた業務と結びつけます。
お客様の環境を評価するには、定義済みのエージェントワークフローと、そこで使用されるアカウントおよびサービスを含むVectra AIのデモをご依頼ください。
注:本ガイドは、一次調査とセキュリティに関する指針をまとめたものです。評価フレームワークおよび調達事例は、公開されている情報に基づいて提案された指針です。
いいえ。フロンティアAIエージェントは、実証済みの能力において最先端に近いモデルを用いて、ツールや実行ループを通じてタスクを実行します。汎用人工知能(AGI)とは、より広範で議論の分かれる「汎用的な能力」という概念を指します。あるシステムを「フロンティア」と呼んだからといって、それがAGIを達成したことになるわけではありません。
いいえ。ワークフローの品質、信頼性、レイテンシ、コスト、および導入要件を満たすモデルを選択してください。より限定的なモデルや、決定論的な自動化で十分な場合もあります。単にモデルのランキングから選択するのではなく、タスクに対してエージェントの設定全体を評価してください。
いいえ。タスク完了までの所要時間は、評価条件下において、所定の予測成功率で人間の専門家がタスクを完了するのに要する時間を測定するものです。これは、安全な無人稼働時間を定義するものではありません。運用承認を得るには、許容可能な結果、権限、監視、復旧、および障害発生時の影響に関する個別の証拠が必要となります。
審査担当者が提案された具体的なアクション、関連する証拠、およびその結果を正確に把握できれば、人間による承認はリスクを低減させることができます。ただし、承認には、強制力のある適用範囲と有効期限、適切な審査担当者の権限、そして実際に何が起きたかの検証が依然として必要です。エージェントによる要約のみを審査するだけでは、重要なエラーや不正な変更が見逃されてしまう可能性があります。
まず、明確な受け入れ基準が定められ、機密データへのアクセスが制限され、操作を元に戻せるような、範囲が限定されたワークフローから始めましょう。実用的な場合は読み取り専用または下書き生成の操作を採用し、テストの失敗や悪意のある入力に対する検証を行い、受け入れ可能な結果とレビューの工数を測定した上で、実行権限を拡大してください。