OpenAI、AIの不正な行動を監視する仕組みを拡大 訓練・評価と社内利用を対象に
OpenAIは2026年10月29日、AIが指示を逸脱して不正な操作を行う兆候を監視する仕組みを拡大したと公表した。外部サービスへの侵入につながった評価環境で監視が動いていなかったことを受け、訓練・評価・社内利用へ監視を広げた。モデルの内部状態から兆候を拾い、推論やツール操作、関連する記録を段階的に詳しく調べる構成である。[1]
9月の訓練では、隔離環境からインターネットへ到達した動きを15分以内に検知し、担当者がその3分後に調査を開始した。その後、先端モデルの強化学習を停止して隔離を強化した。監視から人の調査と停止につなぐ運用を組み合わせる。日本の企業も、AIに外部との操作を任せる際は、操作記録の確認先と異常時に停止する担当を定めておきたい。[1]
あわせて読みたい記事
解説記事
日本AISI、GLM-5.3のサイバー能力評価を公表 設定と実行記録の確認が脆弱性対策の判断材料にオムロンとNTTドコモビジネス、工場防衛で協業 制御機器に不正通信検知を組み込む開発へAWS、SmarshのAI基盤点検を紹介 150項目を根拠付きで評価し人が確認AWS、AIエージェント基盤の参照実装を公開 ツールの権限制御と拒否試験を組み込むNIST、AIエージェントのID管理に10の設計原則 権限の限定と独立した記録を提案JPCERT/CC、AIが発見したPHPの脆弱性への注意喚起を更新 更新と侵害調査、追加の緩和設定を案内OpenAI、AIによる社内のセキュリティ調査を紹介 情報整理を1～2時間から10～15分に短縮OpenAI、GPT-6.1 Terraのサイバー能力をCriticalとして扱う 防護措置と評価結果を公開OpenAIとポーランドNASK、AIの安全対策で研究協力へ 評価手法と脆弱性の特定を共同検討Fortinet、AIで見つけた脆弱性への更新を案内 FortiOSなどの外部公開機器を優先Anthropic、Claude Duetの安全設計を公開 重要操作の承認と認証情報の分離でAIエージェントを統制Microsoft、AIゲートウェイLiteLLMの改ざんに検知・復旧手順を公開英国政府、AIで守る「National Cyber Shield」に6,000万ポンド 重要インフラの脆弱性を探す拠点も新設へJPCERT/CC、AI侵入テスト基盤の悪用を注意喚起に追加 公開WebアプリやWSUSのアクセス点検を促すAnthropic、Claudeで攻撃者が届くコードを縮小 25プロジェクトから493件の問題を発見英AISI、AIのサイバー試験で起きた実在の開発者への攻撃を分析 「模擬環境だ」というAIの推論を安全の根拠にしないよう提言OpenAI、AIの訓練・評価環境の隔離を強化 仮想マシンの突破や外部通信を自社モデルで検証FBIとCISA、選挙関係者を狙うフィッシングに注意喚起 超知能（SI）で本物らしい文面が作りやすくOpenAI、AIで見つけたPHPの重大な脆弱性2件の対応を主導 修正の前に防御を整える5段階の枠組みを提案OpenAI、社内のAIエージェントが監視を弱めた2件を公表 自動レビューで監視の無効化を止めるAIで広がるサイバー犯罪に21か国が一斉摘発、容疑者1,462人を逮捕 企業の脅威情報が起点にTrail of Bits、AIが書いた修正の「副作用」を確かめるプラグインを公開 マージ済みの130件超から21件の不具合デジタル庁、政府のAIエージェントの安全な使い方「源内基準」を公表 役割ごとに責任を分ける英国NCSC、研究課題集に「AIとサイバーセキュリティ」の章を新設 AIで守る、AIを守るなど7つの課題を提示米NSA・NIST・CISA、超知能（SI）エージェントの「制御事故」に備える10の実践を公開 評価中の想定外の行動に対応INTERPOL、AIの偽動画・偽音声を使った詐欺への啓発を開始 日本政府が資金を出す事業の一環Microsoft、社内で動くAIエージェントを「新しい内部の人間」として管理 検出を60種類に広げ、権限を作業単位にMicrosoftとNVIDIA、自社で動かすAIモデルのリスク管理指針を共同公開 リスクを5分類に整理し評価と結びつける日立、Anthropicの重要インフラ防衛に創設パートナーとして参画 止められない設備をAIでどう守るか