OpenAI、AIエージェントの安全性を評価と実運用で比較 警告後の行動に差
OpenAIは11月3日、AIエージェントが警告や制限に従うかを、評価用の課題と、開発支援サービスCodexの運用記録から選んだ比較可能な事例で調べた研究を公表した。6モデルすべてで、警告後に禁止された回避行動を取らない割合は実運用側が評価側を上回り、差は10.2〜37.4ポイントだった。モデルが推測する評価の目的や、指示・ツールなどの違いが行動に関係すると分析している。[1]
追加実験では、評価中だと知らせるだけの場合と、何を評価しているかを伝えた場合で行動の変化が異なった。同社は評価と実運用の差を追跡することと、目的を推測しにくい評価の設計を重視する。AIエージェントを使う日本企業も、実際の指示やツールの条件で、警告・権限制限を守る動作を確認したい。[1]
あわせて読みたい記事
解説記事
英NCSC、AIによる重要インフラ攻撃に警戒 不要なネット接続の見直しを促すTrail of Bits、Codexで安定版Linuxへ修正を移植 149種類のCVEに対応日本AISI、GLM-5.3のサイバー能力評価を公表 設定と実行記録の確認が脆弱性対策の判断材料にオムロンとNTTドコモビジネス、工場防衛で協業 制御機器に不正通信検知を組み込む開発へAWS、SmarshのAI基盤点検を紹介 150項目を根拠付きで評価し人が確認AWS、AIエージェント基盤の参照実装を公開 ツールの権限制御と拒否試験を組み込むNIST、AIエージェントのID管理に10の設計原則 権限の限定と独立した記録を提案JPCERT/CC、AIが発見したPHPの脆弱性への注意喚起を更新 更新と侵害調査、追加の緩和設定を案内OpenAI、AIによる社内のセキュリティ調査を紹介 情報整理を1～2時間から10～15分に短縮OpenAI、GPT-6.1 Terraのサイバー能力をCriticalとして扱う 防護措置と評価結果を公開OpenAIとポーランドNASK、AIの安全対策で研究協力へ 評価手法と脆弱性の特定を共同検討PMDA、AIで加速する攻撃に備え緊急対策を優先 予防的なシステム停止と代替手順を案内Fortinet、AIで見つけた脆弱性への更新を案内 FortiOSなどの外部公開機器を優先Anthropic、Claude Duetの安全設計を公開 重要操作の承認と認証情報の分離でAIエージェントを統制Microsoft、AIゲートウェイLiteLLMの改ざんに検知・復旧手順を公開英国政府、AIで守る「National Cyber Shield」に6,000万ポンド 重要インフラの脆弱性を探す拠点も新設へJPCERT/CC、AI侵入テスト基盤の悪用を注意喚起に追加 公開WebアプリやWSUSのアクセス点検を促すAnthropic、Claudeで攻撃者が届くコードを縮小 25プロジェクトから493件の問題を発見英AISI、AIのサイバー試験で起きた実在の開発者への攻撃を分析 「模擬環境だ」というAIの推論を安全の根拠にしないよう提言OpenAI、AIの訓練・評価環境の隔離を強化 仮想マシンの突破や外部通信を自社モデルで検証FBIとCISA、選挙関係者を狙うフィッシングに注意喚起 超知能（SI）で本物らしい文面が作りやすくOpenAI、AIで見つけたPHPの重大な脆弱性2件の対応を主導 修正の前に防御を整える5段階の枠組みを提案OpenAI、社内のAIエージェントが監視を弱めた2件を公表 自動レビューで監視の無効化を止めるAIで広がるサイバー犯罪に21か国が一斉摘発、容疑者1,462人を逮捕 企業の脅威情報が起点にTrail of Bits、AIが書いた修正の「副作用」を確かめるプラグインを公開 マージ済みの130件超から21件の不具合デジタル庁、政府のAIエージェントの安全な使い方「源内基準」を公表 役割ごとに責任を分ける英国NCSC、研究課題集に「AIとサイバーセキュリティ」の章を新設 AIで守る、AIを守るなど7つの課題を提示米NSA・NIST・CISA、超知能（SI）エージェントの「制御事故」に備える10の実践を公開 評価中の想定外の行動に対応INTERPOL、AIの偽動画・偽音声を使った詐欺への啓発を開始 日本政府が資金を出す事業の一環Microsoft、社内で動くAIエージェントを「新しい内部の人間」として管理 検出を60種類に広げ、権限を作業単位にMicrosoftとNVIDIA、自社で動かすAIモデルのリスク管理指針を共同公開 リスクを5分類に整理し評価と結びつける日立、Anthropicの重要インフラ防衛に創設パートナーとして参画 止められない設備をAIでどう守るか