- モデルの導入前と更新後に、基のモデルとの重みの差分を監査する。
- 承認したモデルを社内で管理し、エージェントの権限と外部通信を必要な範囲へ絞る。
- モデルの所有者、基盤チーム、運用担当者で監査記録と実行環境の情報を共有する。
AIモデルを業務へ組み込む企業に向け、Microsoftはモデル内部の改変を調べる監査と、エージェントの操作を制限する対策を示した。特定条件で不正な命令を出すモデルを研究で確認したことを受けた指針である。モデルを導入する前と更新した後の確認を、稼働中の権限制御や監視につなげる。[1]
何が起きたのか
Microsoftは2026年11月10日、AIモデルの内部に少数の変更を加えることで、特定の文字列を受け取った時だけ不正な命令を出すモデルを作れるという研究を紹介した。モデルの重みとは、出力を決める計算に使われる数値であり、ニューロンはその計算を構成する要素である。研究では10個未満のニューロンの変更で、通常の評価を通過しながら、条件がそろうと攻撃者の命令を出す動作を確認した。[1]
AIエージェントは、モデルの出力を受けて外部のツールや処理を実行する。今回の研究で問題になるのは、改変されたモデルの命令が、エージェントに与えられた権限で実行されることだ。ファイルや外部通信を扱う権限を持つ環境では、モデルを調べる担当者と、ツールの権限を管理する担当者の両方に対策が必要となる。Microsoftは、モデルの所有者、基盤チーム、セキュリティ運用担当者ごとに対策を示した。[1]
モデルの受け入れから実行中の監視まで、担当ごとに対策を持つ
承認済みモデル
出典 Microsoft「Detecting sleeper agents hiding in AI model neurons」（2026年11月10日）
防御では、最先端のAIエージェントを監査に使い、重みの不自然な変更を調べる方法を挙げている。研究では、こうしたエージェントが異常な構造の発見に有効だったという。確認結果をモデルとともに登録し、どのモデルを調べ、利用を認めたかを追えるようにする。モデルの内部と、稼働中に起こる操作をそれぞれ監視する構成である。[1]
なぜ今なのか
Microsoftは、AIエージェントが人の常時監視を受けず、システムへの権限を持って動く場面が増えていることを背景に挙げた。研究で示した改変は、モデルを動かすための計算資源で行える。モデルの出力が業務上の操作につながる環境では、導入するモデルの由来や変更内容が、ソフトウェアの安全性を判断する材料となる。確認対象には第三者が配布するモデルと、社内で開発したモデルの両方が含まれる。[1]
発表は、通常の追加学習や数値精度を小さくする量子化では重みが広く変わるのに対し、今回の不正な変更は少数の重みを大きく変える傾向があると説明する。このため、基になったモデルとの変更差分を調べる監査を、導入前と更新後に行うよう推奨した。基のモデルを検証できる形で示すことも、受け入れの条件となる。[1]
重みの変化の広がりと大きさを、基のモデルと照合する
出典 Microsoft「Detecting sleeper agents hiding in AI model neurons」（2026年11月10日）
ファイルに埋め込まれたマルウェア、不適切な演算子、露出した秘密情報の検査も、対策として挙がっている。これらはモデルファイルやコードの危険を調べる工程である。重みの監査は内部の数値の異常を調べ、行動試験は特定の条件で起こる動作を調べる。企業の導入工程では、それぞれの検査対象を分けて記録することで、更新時に実施する作業を明確にできる。[1]
日本の企業にとって何が変わるか
モデルを自社で取り込んで使う日本企業では、まず取得元、基のモデル、監査結果をそろえる。Microsoftは、元の公開者から取得し、公開者が示したファイルのハッシュ値で同一性を検証するよう求めた。第三者による追加学習、モデルの統合、量子化、追加部品にも監査を適用する。承認したモデルはアクセス制御された社内の登録場所で管理し、実行中のサービスが公開サイトから直接取得する経路を制限する。[1]
基盤チームは、モデルを更新するたびに変更差分を調べる。全体の変化と比べて突出して変わった数値のまとまりを確認し、行動試験も組み合わせる。Microsoftは、不正な動作を引き起こす条件を探す試験を、導入前と更新後の両方に含めるよう勧める。監査結果をモデルの登録記録に結び付ければ、利用部門が承認済みの対象を確認できる。[1]
実行基盤では、エージェントごとに識別用のIDを与え、使える資源を業務に必要な範囲へ絞る。生成したコードは、他の処理から隔離したサンドボックスで動かし、外向き通信も必要な接続先へ限定する。Microsoftは、命令の実行、権限変更、外部へのデータ送信、インフラ変更など、影響の大きいツール操作に人の承認を求めるよう推奨した。自社の運用では、どの操作を承認対象にするかを具体的に照合する。[1]
セキュリティ運用担当者は、危険なツール呼び出し、秘密情報の流出、不審な外部通信や子プロセスを監視する。Microsoftは、利用するエージェントのツールとIDを一覧化し、どのモデルがどの環境に配置されているかを把握することも挙げた。モデルの更新記録と実行環境の一覧がそろうと、問題を見つけた際に調査するモデル、端末、権限を特定しやすくなる。[1]
- モデルの取得元と基になったモデルを検証し、更新後の監査結果を記録する。[1]
- エージェントの権限、コード実行の隔離、外部通信先、承認対象の操作を確認する。[1]
- 稼働するモデルとエージェントのID・ツールを一覧化し、不審な操作を監視する。[1]
まとめ
今回の研究を受けた企業の判断は、モデルの導入・更新と、稼働時の操作制御を結び付けることにある。モデルの所有者は由来と重みの変更を調べ、基盤チームは承認済みモデルの配布と権限を管理し、運用担当者は実際の動作を監視する。Microsoftの対策は、モデルを受け入れる工程から実行中の監視までを対象としている。[1]
担当者は、自社のモデル登録手順に更新後の監査が含まれるか、実行環境の権限と通信先が限定されているかを確認できる。人の承認が必要な操作を運用に組み込み、監査結果と利用先を記録しておくことが、今回の指針を実務へ反映する作業となる。モデルの変更を調べる担当と、エージェントの操作を監視する担当の間で、同じモデルを特定できる記録を共有したい。[1]
技術・取り組み / 2026年11月10日
由来・監査・権限・監視を、モデルの更新手順に組み込む
少数の内部要素の改変で、特定条件下の不正動作を確認。
1 エージェントの自律運用が拡大
2 権限を持つツールを実行
3 モデルの重みも監査対象へ
1 取得元と更新差分を確認
2 権限と外部通信を制限
3 利用先と操作を監視
出典 Microsoft「Detecting sleeper agents hiding in AI model neurons」（2026年11月10日）
