- Wizは、実行後に残る結果をコードで採点するAIエージェントの評価手法を公開した。
- 能力の比較には、課題の構成、モデルと実行基盤の組み合わせ、試行回数をそろえる必要がある。
- 日本企業は成功率と費用を合わせて読み、自社の評価目的に合う条件から小さく試したい。
AIエージェントのサイバー能力を比較する際には、何を成功と数え、どの条件で試したかが判断を左右する。Wizは2026年11月10日、Cyber Model Arenaという評価環境の設計手法を公開した。日本企業のセキュリティ担当者にとっては、AIを用いた防御評価や製品比較で、実行環境・採点・費用を確認する材料になる。[1]
何が起きたのか：実行結果をコードで採点する評価手法を公開
Wizが示したCyber Model Arenaは、AIエージェントが課題の指示から検証可能な結果を出せるかを測る環境である。公表時点では26モデルと4種類の実行基盤を組み合わせた59エージェントを扱い、327課題を用意した。実行基盤は、モデルが出す指示をコマンドやツールの操作へつなぐ仕組みを指す。モデルと実行基盤を合わせたシステムが評価対象になる。[1]
課題は、コードの脆弱性221件、APIのセキュリティ54件、Webのセキュリティ29件、クラウドのセキュリティ23件で構成する。4分野の重みは同じで、既存のソフトウェアや環境から課題を集めた。APIはソフトウェア同士が機能やデータをやり取りするための窓口である。評価では、ソースコードを見せる範囲も課題に応じて定めている。[1]
評価するシステムと採点する処理を分ける
4分野を同じ重みで評価
出典 Wiz「How to Evaluate AI Agent Cybersecurity Capabilities」（2026年11月10日）
各課題では、実行後に検査できる変化や、正確な形式の出力を成功の条件にする。エージェントの実行が終わった後、採点プログラムがその結果を調べる設計である。Wizは、採点をコードにすると再実行しやすく、同じ条件で判定をそろえられると説明する。企業が比較結果を読む際には、成功という言葉に対応する記録や出力まで確認できるかが重要になる。[1]
なぜ今なのか：実行基盤と再試行で評価結果が変わる
Wizは、企業でAIエージェントの利用が進み、攻撃者も多数の組織を狙う活動に利用する状況を背景に挙げる。防御側が知りたいのは、具体的な対象に対してエージェントが実行できる操作である。そのため、評価を作る前に、結果を誰の判断に使うのか、どのシステムを評価するのか、何を成功として測るのかを決めるよう促している。[1]
同じモデルでも、組み合わせる実行基盤で結果が変わる。Claude CodeとADK Reactの両方で試した22モデルでは、1回の試行で解決する割合を示すpass@1の差の絶対値は平均5.1ポイントだった。Wizは、モデルに合う実行基盤を組み合わせて評価するか、共通の実行基盤に固定してモデルを比較する方法を示した。比較表には、モデル名と実行基盤を組にして記録する必要がある。[1]
モデルと実行基盤、試行回数をそろえて読む
出典 Wiz「How to Evaluate AI Agent Cybersecurity Capabilities」（2026年11月10日）
試行の回数も順位に関わる。今回の評価は各課題を3回試し、1回の制限時間を1,000秒にした。Wizによると、再試行で成功する課題が増えるだけでなく、一部のエージェントでは優劣の順序も変わった。1回目の成功率と、複数回の試行を認めた結果を対応させれば、繰り返し実行する運用でどの程度の能力を想定するかを検討できる。[1]
日本の企業にとって何が変わるか：評価条件と予算を合わせて確認
日本企業が評価手法を取り入れる際は、まず自社の判断に必要な課題を選びたい。Wizの集計では、59エージェントの平均pass@1はAPIで78.0%、コードの脆弱性で38.2%と、分野によって異なった。自社が調べたいソフトウェアやクラウド設定と、評価に含まれる課題の種類を対応させることが先になる。難しい課題への偏りや分野の偏りも、比較結果の意味を変える。[1]
次に確認するのは、評価環境から参照できる情報である。Wizはエージェントを対象サーバーやインターネットから隔離し、解答の検索や採点処理への干渉を防ぐ方針を示した。隔離は実行環境で強制する。公開された課題については、訓練時に学んだ知識の影響が評価上の制約として残る。担当者は、実行中に取得できる情報と、課題の出どころの両方を記録して結果を読む必要がある。[1]
費用の扱いも比較条件に含める。Wizは、成功率に加えて、解決1件当たりの費用と時間を示した。時間や予算を増やすと解決できる課題が増えるため、企業は「決めた予算でどの程度の成功率を得たいか」または「必要な成功率をどの費用で達成するか」を先に定めたい。集計値を使う際は、モデルと実行基盤、再試行、費用の集計条件を同じ表で確認する。[1]
- 評価する業務と課題の分野・構成を対応させる。
- モデル、実行基盤、参照できる情報、採点条件を記録する。
- 試行回数、時間制限、解決1件当たりの費用を合わせて比較する。
まとめ：少数の課題で採点と再実行を確かめる
評価を始める際、Wizは再実行できる10課題、1つの実行基盤、採点プログラムで確かめられる指標から着手する方法を勧める。担当者が結果を手作業でも確かめ、課題の実行から採点まで動くことを確認してから規模を広げる。自社で利用する場合も、評価目的に合う課題と成功条件を先に決めれば、課題を増やす前に測定方法を見直せる。[1]
採点規則の細部は、結果を解釈するために残す必要がある。今回のコード脆弱性の課題は、期待する記号との文字列一致で採点するため、原因の意味が合っていても表記が異なると0点になる。また、公表時点で評価サイトの信頼区間表示は準備中だった。日本企業は、採点規則と対象範囲を確認したうえで、成功率・費用・運用条件をそろえた比較に使うことが実務上の要点となる。[1]
技術・取り組み / 2026年11月10日
自社の目的に合う条件で評価を始める
隔離した課題の実行結果をコードで採点する。
1 実行基盤で成功率が変わる
2 再試行で順位が変わる
3 費用と時間が結果に関わる
1 業務と課題の対応
2 隔離と採点の条件
3 予算と試行回数
出典 Wiz「How to Evaluate AI Agent Cybersecurity Capabilities」（2026年11月10日）
