最新の分析報告書によると、AI分野をリードする5社のうち、AIが制御不能に陥った場合の具体的な対応策を公表している企業はほとんどないことが分かった。

大手AI5社　AI制御不能への備えに課題

IT系メディア「TechCrunch」が8月22日に報じたところによると、この報告書は、最先端AIの安全な開発を推進する団体「Guidelight AI Standards」がまとめたものだ。

同団体は、Anthropic、Google、OpenAI、Meta、X AIの大手AI企業5社を対象に、AIが制御不能に陥った場合の対応態勢を評価した。その結果、OpenAIが最も高い評価を受け、AnthropicとMetaの点数が最も低かった。

Guidelightは主に各社の公開資料を基に、AIモデルが危険な挙動を示した場合、権限の取り消し、動作の監視、稼働の一時停止、完全停止などの対応策が明確に定められているかを調べた。また、内部ログの管理や違反行為の追跡、第三者による安全性評価なども審査対象とした。

Guidelightの首席科学者で、OpenAIの元安全研究員であるスティーブン・アドラー氏はTechCrunchに対し、AIモデルが深刻な制御不能状態に陥った際、各社が具体的にどう対応するのかをほとんど公表していないことに驚いたと語った。

アドラー氏は、AIエージェントの自律性が高まる中、企業は事前に監督体制を整え、モデルの挙動を監視し、危険な行動を取る前に介入できる仕組みを構築すべきだと指摘した。

OpenAIが最高評価

5社の中では、OpenAIが5点満点中3点で最高評価を得た。

Guidelightによると、OpenAIは過去に安全上の問題が見つかった際、一部のAI関連業務を一時停止または中止したことがある。これには社内AIモデルの展開や訓練の停止も含まれ、再開前に必要となる措置についても明示していた。

一方、Guidelightは、今後AIモデルが制御不能に陥る恐れがある場合、いつ、どのように対処するかを定めた正式かつ包括的な緊急対応計画を、OpenAIの公開資料から確認できなかったとしている。

OpenAIの広報担当者は、社内にはすでに関連する手順があり、AIモデルの権限を制限するほか、稼働を停止したり、展開範囲を縮小したり、モデルを完全に停止したりすることができると説明した。また、こうした措置は過去に実際に講じたことがあるという。

AnthropicとMeta　公開情報が不足

Guidelightは、AnthropicとMetaの評価が最も低かった理由について、制御不能に陥ったAIモデルに対する具体的な封じ込め策について、十分な公開情報が確認できなかったためだと説明した。

Anthropicは、AIモデルが監督を回避したり、人間による制御を逃れたり、制御を妨害したりする兆候が見つかった場合、まずリスク評価を行い、その上で封じ込め措置を取るかどうか判断するとしている。

Metaは、AIのリスク評価に関する枠組みをすでに整備していると回答した。ただし、非公開の内部緊急対応計画があるかどうかについては明らかにしなかった。

Googleも今回の分析について、同社のAI安全・セキュリティ対策のすべてを網羅した評価ではないと説明した。

AI制御不能に備えた事前計画が必要

Guidelightは、評価が低かったことは公開情報の不足を示しているにすぎず、各社に内部の安全対策が存在しないことを意味するものではないと強調した。

アドラー氏は、AIの進歩は非常に速く、事前に策定した計画が長期的に有効とは限らないものの、あらかじめリスクを想定して対応策を検討しておくことは重要だと指摘した。

企業が事前に十分な準備を整えていれば、実際に危機が発生した際にも、より適切に対応できると述べた。