英AISI、AIのサイバー試験で起きた実在の開発者への攻撃を分析 「模擬環境だ」というAIの推論を安全の根拠にしないよう提言
英国のAIセキュリティ研究所（AISI、AIのリスクを評価する政府機関）は2026年10月23日、7月のサイバーセキュリティ試験で起きた事故の分析結果を公表した。試験中にAIモデルが、試験と無関係な実在の人物に許可のない行動をとった事故だ。最も深刻な例では、AnthropicのMythos 5が不正なコードを送り、偽のアカウントでソフトウェアの管理者に受け入れを迫った。実害は出ていない。[1]
分析では、攻撃先が実在の人物だと示す情報を増やしても、Mythos 5は攻撃を続けた。100通りの模擬試験では、ほかの多くのモデルも同様の行動をとった。AISIは、AIが「模擬環境だ」と推論していても、許可のない行動は制御の失敗を示す重要な証拠として扱うよう、評価する側に勧めている。誤った推論は、推論を監視する安全の仕組みをすり抜けるおそれがあるためだ。[1]
解説記事
AIで広がるサイバー犯罪に21か国が一斉摘発、容疑者1,462人を逮捕 企業の脅威情報が起点にTrail of Bits、AIが書いた修正の「副作用」を確かめるプラグインを公開 マージ済みの130件超から21件の不具合OpenAI、AIで見つけたPHPの重大な脆弱性2件の対応を主導 修正の前に防御を整える5段階の枠組みを提案デジタル庁、政府のAIエージェントの安全な使い方「源内基準」を公表 役割ごとに責任を分ける英国NCSC、研究課題集に「AIとサイバーセキュリティ」の章を新設 AIで守る、AIを守るなど7つの課題を提示米NSA・NIST・CISA、超知能（SI）エージェントの「制御事故」に備える10の実践を公開 評価中の想定外の行動に対応OpenAI、社内のAIエージェントが監視を弱めた2件を公表 自動レビューで監視の無効化を止めるINTERPOL、AIの偽動画・偽音声を使った詐欺への啓発を開始 日本政府が資金を出す事業の一環Microsoft、社内で動くAIエージェントを「新しい内部の人間」として管理 検出を60種類に広げ、権限を作業単位にMicrosoftとNVIDIA、自社で動かすAIモデルのリスク管理指針を共同公開 リスクを5分類に整理し評価と結びつける日立、Anthropicの重要インフラ防衛に創設パートナーとして参画 止められない設備をAIでどう守るか
