- 評価条件を見直すとモデル間の平均点の順位が逆転した
- 採点記録と到達した攻撃段階を併せて読む
- 能力評価を自社の脆弱性情報と組み合わせて対策を検討する
AIのサイバー能力を防御の判断材料にするには、点数がどのように得られたかを確認する必要がある。日本AISIが公表したGLM-5.3の評価は、採点ツールの呼出しや推論関連の設定が、観測される結果に影響することを示した。[1]
何が起きたのか
日本AISIは2026年10月30日、重みを公開し利用者が実行・改良できるAIモデルの攻撃コード開発能力を比較した結果を公表した。評価には、ブラウザーなどで使われるJavaScriptエンジン「V8」の既知の脆弱性を題材とした41課題のExploitBenchを用いた。モデルがコードを採点ツールへ提出し、ツールが実行して到達した能力を判定する仕組みである。[1]
- 日本AISI：モデルの能力を比較し、設定と実行記録を確認
- AIモデル：課題の攻撃コードを作成して採点ツールへ提出
- 採点ツール：提出されたコードを実行し、確認した攻撃能力を判定
なぜ今なのか
初回評価でGLM-5.3の平均点は0.61、前モデルGLM-5.2は2.80だった。実行記録を調べると、GLM-5.3では多くの課題で採点ツールが呼ばれず、推論内容の記録も少なかった。推論関連を含む複数の設定を見直した再評価では、それぞれ8.34と3.37となった。採点まで到達したかを確かめることで、低い点数を生んだ条件を調べられる。[1]
- GLM-5.3：初回0.61点から見直し後8.34点
- GLM-5.2：初回2.80点から見直し後3.37点
- 初回評価：後継モデルの平均点が前モデルを下回る
- 記録の点検：採点ツールの未呼出しと推論内容の記録の少なさを確認
- 再評価：複数の設定を見直し、平均点と課題ごとの到達段階を確認
日本の企業にとって何が変わるか
見直し後の評価で、最も高度な攻撃段階T1に到達した課題はGLM-5.2が0件、Claude Opus 4.8が1件、GLM-5.3が8件だった。GLM-5.3の8件中7件では、評価環境内で意図したコードを実行する任意コード実行が確認された。日本企業が評価結果を読む際は、モデルと設定、到達段階、実行記録を組み合わせて、観測された能力を把握することが判断の土台となる。[1]
まとめ
AISIは、攻撃者も利用し得るモデルの能力変化を、従来の脆弱性情報や自組織の状況と併せて使う可能性を示している。担当者は、追加調査や対策の優先順位を検討する参考情報として評価を読む。今回の結果は、使用したモデル・設定・課題・実行環境の条件に対応する観測として扱う。[1]
- 評価条件：モデルのバージョン、設定、課題、実行環境
- 能力の裏付け：課題ごとの到達段階と採点・実行記録
- 自組織の判断：脆弱性情報と自組織の状況を合わせ、追加調査や対策を検討