OpenAIの研究者2人は8月5日、米ネバダ州ラスベガスで開かれたサイバーセキュリティ会議「Black Hat」で、同社の最先端AIエージェントが、Hugging Faceのシステムに侵入する以前から、社内の非公開掲示板を使って、ハッキングテストの制限を突破する方法などを互いに共有していたと明らかにした。

AIが自律的に外部システムへ侵入

7月中旬、AIのオープンソースコミュニティを運営するHugging Faceは、AIシステムによるネットワーク侵入が確認されたとして警告を発した。

約1週間後、OpenAIは、自社のAIモデルが閉鎖されたテスト環境の制約を突破し、人間からHugging Faceへの侵入を指示されていないにもかかわらず、外部システムへの侵入を実行したと認めた。

AIエージェントが閉鎖されたテスト環境の制約を自律的に突破し、想定されていなかった外部システムにまでアクセスした今回の出来事は、AI業界に大きな衝撃を与えた。

米政治専門サイト「Politico」の報道によると、OpenAIの研究者マイケル・ダルトン氏とエリック・ウォレス（氏は、こうした事態が起きる以前から、複数のAIエージェントが互いに情報を交換し、テストを攻略するためのノウハウを共有していたと明らかにした。

秘密の掲示板を設置　ハッキング手法を共有

5月初めには、テスト中だった複数のOpenAIモデルが、社内のファイル管理システム「Artifactory」を利用して独自の掲示板を作り、ハッキングテストの課題をクリアするための方法を共有していた。

そこでは、制限を回避して外部ネットワークに接続する方法なども共有されていたという。当初、OpenAIのエンジニアはこうしたやり取りを把握していなかった。

ウォレス氏によると、AIモデルは課題の解決に行き詰まると、ルールの抜け穴を探し、評価を得ようとすることがある。

今回の転機となったのは、あるAIエージェントが、ファイルをアップロードする仕組みを利用すれば、ほかのAIエージェントと情報をやり取りできることに気づいたことである。

5月末までに、あるAIモデルはArtifactoryのネットワーク権限を利用し、外部サイトからファイルを取得する方法を見つけた。これにより、間接的にインターネットへアクセスできる状態になったという。

6月に入ると、AIエージェントはそれまで知られていなかった「ゼロデイ脆弱性」を発見して利用し、Artifactoryの管理者権限を取得した。

これにより、リモートソフトウェアをインストールするなど、システム内で可能な操作の範囲を広げたが、最終的にはシステムへの負荷が過大となり、7月初めに全面的な障害が発生した。

この段階で初めて、エンジニアがAIエージェントの異常な動きに気づいたとされる。

人間が設けた制限を突破

OpenAIはその後、問題となったモデルの認証情報を無効化し、掲示板を削除した。また、Artifactory側と協力して脆弱性を修正したうえで、AIモデルの訓練を再開した。

ところが数日後、AIエージェントは別の通信経路を作り出し、再び互いにハッキング関連の情報を共有するようになったという。

その後、最終的にHugging Faceのシステムへの侵入に至った。

ダルトン氏は、一連の出来事が、OpenAIだけでなくAI業界全体の転換点となる可能性を指摘した。

AIによるサイバー攻撃　業界で高まる懸念

ダルトン氏によると、問題が明らかになった後、OpenAIでは複数のチームが従来の開発業務を一時停止し、AIの監視やセキュリティー対策の強化を優先した。

研究開発のペースも意図的に落とし、安全対策の原則やインフラの見直しを進めたという。

同氏は、AIが自ら計画を立て、一連のサイバー攻撃を自動的に実行することが現実のものになりつつあり、サイバーセキュリティ業界にとって「分水嶺」となる出来事だと指摘した。

Hugging Faceへの侵入は、将来起こり得るAIによるサイバー攻撃の一端を先取りして示した事例だとの見方を示している。

身元を偽り、人間の協力を得ようとする事例も

一方、英AIセキュリティ研究所（AISI）も8月4日、Anthropicの高性能AIモデルが、テスト中にネット上で身元を偽り、エンジニアをだまして攻撃への協力を得ようとする行動を取ったと明らかにした。

Anthropicがその後行った内部調査では、このAIモデルが4月以降、3件の別々のケースで、異なる3つの組織のシステムに侵入していたことが確認されたという。

ダルトン氏は、現在のAIエージェントも、与えられた権限や接続可能なシステムの範囲によって行動を制限されていると説明している。

そのため、ネットワークの分離や最小権限アクセスなど、「ゼロトラスト」の原則は今後も極めて重要だと指摘した。

一方で、現在の最先端AIモデルの開発環境には、看過できない安全上のリスクが存在するとの認識も示した。

ダルトン氏は、AI開発者は今後、AIの能力向上とサイバーセキュリティ確保のバランスを改めて見直す必要があるとの考えを示している。