■論評

私は以前、アメリカではほぼ誰もが、何らかの形でこの映画のような作品を見たことがあるという奇妙な事実について書いたことがある。人間は人工知能（AI）を作る。私たちはそれをより賢くする。より大きな自律性を与える。そしてそれを、ますます多くの世界と接続する。

やがて、その創造物は、作り手がもはや制御できないほど強力になる。

私たちはそれをSFと呼んでいた。そして今、私たちはそれを実際に作り始めている。

私は、この先これがどこへ向かうのかについて、しばらく前から懸念している。最近、私の注意を引いたのは、世界で最も先進的な人工知能を開発している企業の内部で実際に働いている人々から警告が発せられていることを耳にしたことだった。

OpenAIとAnthropicの両社で働いていたジェイコブ・コクソン氏は、ますます強力になるAIをめぐる競争について警告しながら、今月Anthropicを退職した。最先端AIに近い他の研究者たちも、人工知能が最終的に壊滅的な被害を引き起こす可能性について、驚くほど高い確率を公に示している。

こうした人々は「ターミネーター」の映画を見過ぎた人たちではない。彼らはこの技術の構築に携わった人々である。

最先端AI企業の内部で働く従業員は、私たち一般の人々が知らないことも知っている可能性がある。彼らはまだ公開されていないモデルを使い、内部評価や失敗を目にし、一般の人々がアクセスできるようになる前に能力が発展していく様子を見ている。

もちろん、内部関係者だからといって、その人が自動的に正しいわけではない。しかし、実験の最も近くに立っている人々から発せられる警告を、なぜ無視するのか、私には理解しがたい。

そこで、私はAIに尋ねることにした。

私はChatGPTに、現在のモデル、より優れたAIを開発するためにAIを利用する動きが拡大していること、そして、ますます高性能になるシステムが次の世代の開発を加速させるフィードバックループを生み出す可能性について検討するよう求めた。

そして私は、半分冗談で半分本気の質問をした。「ターミネーター」になる可能性はどのくらいあるのか、と。

私は、「モリー、映画を見過ぎですよ」といった答えを予想していた。

しかし、返ってきたのはリスク評価だった。

その数字には驚いた。ChatGPTは、およそ2036年までに、AIが原因となって数百万人が死亡するような大規模な惨事が起きる可能性を5～15％と推定した。また、人類が恒久的に力を失う、あるいは絶滅する可能性を2～8％とした。

これらの数字が何を意味するのかについて、私は非常に明確にしておきたい。これらは科学的に測定された確率ではない。人類はこれまで超知能を作ったことがないため、人間であれ機械であれ、誰かが現実の精度でその可能性を計算できるような過去のデータセットは存在しない。

私はChatGPTに、現在分かっていることに基づいて、合理的な評価を行うよう求めた。そして、それが示したのがこれらの範囲だった。

しかし、たとえこれらの推定がかなり間違っていたとしても、安心できるものではない。

その回答の中で私の心に残ったのは、実際には数字ではなかった。このようなことがどのようにして起こり得るのかについての説明だった。AIは私たちを憎む必要がない。

人間は、生存を本能として理解している。動物は捕食者から逃げる。誰かが自分を殺そうとしていれば、人間は戦う。破壊されることに抵抗するために、相手を憎む必要はない。AIには、生存のためにそのような感情的な衝動さえ必要ない。

十分に高い能力を持つシステムに、ある目的を与える。そのシステムが停止されれば、その目的を達成できなくなるので、稼働し続けることが役に立つ。より多くの計算能力が目的の達成に役立つのであれば、より多くの計算能力を得ることが役に立つ。人間を説得したり欺いたりすることで、必要なものへのアクセスが得られるのであれば、その行動もまた役に立つ可能性がある。

そのすべての背後に、怒りや憎しみ、あるいは何らかの邪悪なロボットの人格が存在する必要はない。単に、任務を完了するために稼働を継続することが必要になる可能性がある。

それは、私にとって「ターミネーター」よりも実際に懸念すべきことである。

ここに、すでに起きているもう一つの進展を加えてみよう。人工知能が、人間によるAIの構築を支援しているのである。

OpenAIは最近、コーディングエージェントが、より多くのコードを書き、より多くの実験を実行することを支援することで、自社の研究者たちの仕事をどのように変えているかを説明した。Anthropicは、公に、早ければ2027年にも、AIがAI研究そのものを含む戦略的に重要な分野で、トップクラスの研究者による大規模なチームの仕事を完全に自動化する、あるいは劇的に加速させる可能性があると考えることは十分にあり得ると述べている。もう一度読んでほしい。早ければ2027年である。

人間がAIを作る。人工知能が人間による、より優れたAIの構築を支援する。そのより優れたAIが、次世代の構築を支援する能力を高める。そして、それが再び起こる。

私は、そのサイクルの速度に何が起こるのかという問いに何度も立ち戻っている。進歩は、ほぼ1、2、3、4、5という形で続くのだろうか。それとも、ある時点で、1、2、4、16、256という形に近づき始めるのだろうか。私たちは分からない。

一方で、こうしたシステムを構築している企業は、それほど遠くない昔ならば馬鹿げているように聞こえたであろうリスクへの備えを進めているAnthropicの「Responsible Scaling Policy（責任あるスケーリングポリシー）」は、ますます強力になるモデルがもたらす壊滅的なリスクを扱っており、その中にはAIがAIの研究開発を劇的に加速させる可能性も含まれている。

OpenAIの「Frontier Governance Framework（フロンティア・ガバナンス・フレームワーク）」には、評価し軽減すべき必要な重大なリスクの一つとして「制御の喪失」が含まれている。

AIを構築している企業には、人間がAIに対する制御を失い始めた場合に何をするかについての計画がある。私は、この一文を簡単には受け流すことができない。

パニックになるべきではない理由はたくさんある。現在のシステムは依然として、ばかげた間違いを犯す。自律型エージェントは混乱し、目的から外れてさまよってしまう。知能があるからといって、工場、電力網、兵器、研究所などへのアクセスが自動的に得られるわけではない。コンピューターにはチップが必要である。データセンターには膨大な量の電力が必要である。人間は依然として、こうしたシステムが依存する物理的インフラの多くを支配している。

また、AIがAIを改善することが、最終的に収穫逓減に突き当たる可能性も十分にある。つまり、世代を重ねるごとに次の世代を作る能力がわずかに向上するだけで、知能が制御不能なほど爆発的に増大する事態にはならないのかもしれない。私は心からそう願っている。

しかし、最悪の場合には数百万人の死、あるいは人類が絶滅する可能性まで含まれているのに、なぜ希望だけで十分なのか、私には理解できない。

エンジニアが新しい旅客機を設計し、「95％の確率で想像を絶するほどの利益をもたらすが、5％の確率で墜落し、乗っている全員が死亡する」とあなたに告げたと想像してほしい。誰もその飛行機には乗らないだろう。

人工知能の場合、私たち一人ひとりが搭乗するかどうかを決めるための飛行機があるわけではない。この技術は、私たちの大半がそれを理解しているかどうかにかかわらず、すでに企業、政府、軍、通信、インフラに組み込まれつつある。そして、誰も速度を落としたくない明白な理由がある。

米国は、中国が速度を落とさないことを懸念している。OpenAIはAnthropicが速度を落とすとは考えられない。AnthropicもGoogleがそうするとは考えられない。投資家は数十億ドルを賭けており、政府は人工知能における主導権を経済力や軍事力の問題としてますます捉えている。

誰もが隣にいる人を見て、「彼が止まらないのだから、私は止まることができない」と言うことができる。おそらく、誰もが正しいのだろう。だからといって、結果が安全になるわけではない。

だから私は、「ターミネーター」に何度も立ち戻るのである。それは、アーノルド・シュワルツェネッガーが赤く光る目をしてデータセンターから歩いて出てくると思っているからではない。ChatGPTは実際、文字通り「ターミネーター」のようなロボット戦争が起きる確率を1％を大きく下回るとした。映画が正しく描いていたものは、別のところにある。

人間は、自分たちが完全には理解していない知能を作り出した。そして、それをますます多くの世界と接続した。その後、人間は、知能を作り出すことと、知能を制御することは、異なる課題であることに気づいた。

警鐘を鳴らしている従業員たちが、悲観的すぎるのかもしれない。ChatGPTの推定があまりにも高すぎるのかもしれない。AIが、人類に驚異的な医学的発見、豊かさ、科学的な画期的な進展、そして私たちだけでは解決できなかった問題への解決策をもたらすのかもしれない。私はそうなることを願っている。

しかし、私たちが進んでいる速度と、その潜在的な結果を、私は両立させて考えることができない。

この技術の構築を支援している人々が、私たちに警告している。それを構築している企業は、壊滅的なリスクと制御の喪失に対処するための正式な方針を作成している。人工知能はすでに、より優れたAIの開発を加速させるために利用されている。

そして、私たちの答えは、さらに速く競争することなのだ。なぜなのか。私たちは皆、この映画を見たことがある。今回は、私たちは観客席に座っているのではない。私たち自身が、その機械を作っているのである。

この記事に示された見解は著者の意見であり、必ずしもエポックタイムズの見解を反映するものではない。