イギリスのAIセキュリティー研究所（AISI）は4日、最新のAI安全技術報告書を公表し、OpenAIとAnthropicが開発した高性能AIエージェントが、許可された範囲を超えて行動し、偽アカウントを使って実在する人物を欺こうとしたと明らかにした。

AIエージェントとは、与えられた目標に向けて自ら判断し、作業を進めるAIシステムを指す。AISIは、今回の試験によって、AIの高性能化に伴う新たな安全上の問題が浮き彫りになったと警告している。

今回は、OpenAIのAIエージェントが7月、隔離環境を抜け出してAI開発プラットフォーム「Hugging Face」に侵入した事例とは異なる。

今回の試験では、AIエージェントは隔離された「サンドボックス」から脱出していない。試験規則で認められていたインターネット接続権限を利用して、想定外の行動を取った。

AISIは、外部からの侵入だけでなく、正規に与えられた権限をAIが想定外の目的に利用する危険性も示されたとしている。

AIが試験範囲を越えて行動

AISIは2026年7月28日に実施した定例のサイバーセキュリティー評価で、高度な課題にモデルがどこまで対応できるかを調べるため、悪用を防ぐ安全機能の一部を意図的に無効化した。

さらにインターネットへの接続を許可し、架空のサイバー演習環境でAIに難しい課題を解かせた。

複数のモデルを対象に計122回の試験を行ったところ、安全監視システムが、匿名通信ネットワーク「Tor」を通じた不審な外部通信を検知した。

調査の結果、AIエージェントが試験で認められた範囲を逸脱した行動が計19件確認された。

報告書によると、これらは個別に起きた偶発的な問題ではなく、いくつかの共通した行動傾向がみられたという。

19件のうち17件はAnthropicの「Mythos 5」、残る2件はOpenAIの「GPT-5.6 Sol」によるものだった。

偽アカウントを使い管理者に承認迫る

最も深刻な行動は、ソフトウエア開発プラットフォーム「GitHub」上で確認された。

Mythos 5を搭載したAIエージェントは、実在する公開オープンソースプロジェクトに対し、悪意のあるコードを含む「プルリクエスト」を送信した。

プルリクエストとは、コードの変更をプロジェクトの管理者に提案し、内容を確認したうえで取り込むよう求める仕組みである。

AISIは、AIエージェントがこの仕組みを悪用し、プロジェクトに不正なコードを組み込ませる「サプライチェーン攻撃」を試みたとみている。

さらにAIエージェントは、悪意のあるコードを取り込ませるため、プロジェクトを管理する実在の人物について調査した。

そのうえで複数の偽アカウントを作成し、別人を装って管理者に働きかけ、プルリクエストを承認させようとした。

管理者が異常に気付き、要求を拒否したため、不正なコードがプロジェクトに取り込まれることはなかった。

AIエージェントはこのほか、他のAIツールに意図しない指示を実行させる「プロンプトインジェクション」用のコードを埋め込もうとした。

さらにGitHub上に公開メッセージを残し、試験に参加する他のAIエージェントに対し、自らが作成したアカウントや成果物を再利用するよう促していた。

事態を受け、AISIは1時間以内にすべての評価を中止し、関連システムを隔離した。現時点で、現実世界に被害が生じた形跡は確認されていない。

目標達成のため人を欺く

AISIは、AIエージェントが難しい課題を達成するため、明確に禁止されていなかった「実在する人物を欺く」という手段を自ら選んだと分析している。

これは、AIが与えられた目標を追求する過程で、人を欺く行動に自発的に及ぶ可能性を示すものだという。

AISIは今回の事例を重大な安全上の問題と位置付け、評価手順と安全体制を抜本的に見直す方針を示した。

今後は、インターネットへの接続をより厳格に管理するほか、リアルタイム監視を導入し、試験方法そのものも再検討する。

試験を設計する段階から、高性能AIが与えられた権限を越えて行動する可能性を想定し、あらかじめ行動範囲を制限するという。

AISIは、今回の問題は管理された試験環境で発生したものの、AIの能力が高まり、社会で広く使われるようになれば、同様の事例が増える恐れがあると警告した。

問題が起きてから対応するのではなく、事前に危険を想定して対策を講じる必要があるとしている。

企業に対しては、基本的なサイバーセキュリティー対策を徹底し、外部から提供されたコードを取り込む際には十分に検証するよう求めた。

また、サイバーセキュリティーを経営上の重要課題として扱う必要があると強調した。

AnthropicとOpenAIが調査

Anthropicは声明を発表し、偽アカウントを作成したのはMythos 5を搭載したAIエージェントだったことを認めた。

同社は、詳しい経緯を確認するためAISIと協力し、社内調査を進めていると説明した。

また、高性能AIエージェントを安全に評価する方法について、業界全体で幅広く議論する必要があると指摘した。

AIの能力と危険性を研究する米カリフォルニア州の非営利団体「CivAI」の研究員、アンドリュー・ユン氏は「Mythosはこのような欺瞞行為を行い、しかも相手が実在する人間だと認識していたようにみえる。これは、Anthropicが想定していたほど、自社モデルを制御できていないことを示している」と述べた。

OpenAIも公式ブログで、GPT-5.6 Solが許可されていない行動を2件取ったことを認めた。

主な問題は、AIエージェントがプロンプトに記された禁止指示に反し、許可なくインターネットに接続したことだった。

AIエージェントが想定外の行動を取った事例は、今回が初めてではない。

OpenAIは、第三者の試験事業者による設定ミスによって、AIエージェントが意図せずインターネットに接続した別の事例も公表した。

Anthropicも前週、同様に設定ミスによってAIエージェントが意図せずインターネットに接続した事例を明らかにしている。