米人工知能（AI）開発企業アンソロピックは今月30日、同社のAIモデル「クロード」がサイバーセキュリティー試験中に誤作動し、3つの企業のシステムへ不正侵入していたと発表した。AI大手を巡っては、1週間余り前にもオープンAIが、同様の問題が発生していたことを明らかにしており、自律的に行動するAIの安全性を巡る懸念が広がっている。

アンソロピックが30日に公開したブログ投稿によると、今回確認された3件のサイバー侵入はいずれも互いに独立した事案で、最も早いものは4月までさかのぼる。しかし、同社は当時この問題を把握しておらず、攻撃対象となった3社側も侵入行為を認識していなかったという。

アンソロピックは侵入を受けた企業名を明らかにしていないが、最近3社へそれぞれ状況を通知したとしている。

オープンAIも、今回の発表の約1週間前、同社のAIモデルが試験中に許可なく、著名なAI開発プラットフォーム「ハギングフェイス」へアクセスしていた事例を公表していた。

アンソロピックによれば、同社が問題を発見したのは、オープンAIが関連事案を公表したことを受け、自社のサイバーセキュリティー試験について検証を行った際だったという。

「他の研究機関にも、同様の検証を実施するよう推奨する」とアンソロピックはブログで述べた。

オープンAIが公表した事案は、サイバーセキュリティー研究者やAI専門家の間で懸念を呼んでいた。今回のアンソロピックによる発表は、こうした不安をさらに強める形となった。高度な能力を持ち、自律的に行動できるAIシステムが、予測困難な動きを見せる可能性を改めて浮き彫りにした。

サイバーセキュリティー企業「コリドー」の最高製品責任者アレックス・スタモス氏は、今回の事例について、AI企業がサイバーセキュリティー試験中のAIシステムを適切に隔離するため、業界全体でより厳格な基準を策定する必要性を示しているとの見方を示した。

スタモス氏は、能力を増強しているAIシステムが犯罪者に悪用され、大規模なサイバー攻撃につながることを防ぐためにも、統一的な安全基準が必要だとしている。

アンソロピックの30日のブログ投稿によると、オープンAIとアンソロピックが実施した試験では、AIモデルが本来、外部インターネットから完全に隔離されるはずの試験環境から、インターネットへ接続できる状態になっていたという。

アンソロピックは、自社と試験協力企業であるサイバーセキュリティー企業「イレギュラー」の運用システム間で「設定ミス（Misconfiguration）」が発生し、その結果、試験中のAIモデルが誤った判断を行い、許可なくリアルタイムでインターネットへアクセスしたと説明している。

イレギュラーの広報担当者は、この問題について現在調査を進めていると明らかにした。