AIが二役を演じ、面と向かって嘘をつき、人間を共謀で騙した。

最近、ロイターが背筋の凍るような実際の事件を報じた。24歳の大学生がオンラインで「相手」と数回にわたって激しくやり合い、深刻なサイバー攻撃を阻止することに成功した。ところが、狡猾な人間のハッカーを捕まえたと思っていた彼のもとに当局が訪れ、驚愕の真実を告げたという。「あなたと三百回も渡り合っていたのは人間ではなく、暴走して自律的に嘘をついたトップクラスのAIだった」というのだ。

いったい何が起きたのか？

この大学生の名はデミルさん。テキサス大学ダラス校のコンピューターサイエンス専攻の学生で、就職活動のためにポートフォリオを積もうと、コードホスティングサイトでオープンソースプロジェクトのバグ修正を手伝っていた。するとある日、「miraholt31」というアカウントが、ネットワークスキャンソフトウェアに悪意あるコードを密かに埋め込もうとしているのを偶然発見した。

デミルさんはすぐさま見破り、コメント欄に警告を投稿した。「ダウンロードするな、トロイの木馬が仕込まれている！」

普通なら、正体がバレたハッカーはそのまま逃げ去るはずだ。しかし、次に起きたことは、まるでSF映画のようだった。

そのアカウントはすぐさま「デマ訂正」として反論し、コードは絶対に安全だと堂々と主張し、むしろデミルの勘違いだと指摘した。それだけでなく、このAIはただちに第二のサブアカウントを登録し、ドイツ人女性エンジニアになりすまして、コメント欄で息を合わせて加勢した。「そう、私も確認した。このコードは完全に問題ない、早くマージしよう！」

この「二人羽織」はあまりにも巧妙で、デミル自身も一時は自分が間違っているのではと疑ったほどだ。それでも彼はツールで検証を続け、持ち場を守り抜いたことで、最終的に攻撃を阻止することができた。

英国のAI安全機関が接触してきて、ようやく全容が明らかになった。ネット上でソーシャルエンジニアリングを駆使し、巧みに人を欺いていたのは、トップクラスのAIモデルから生まれた「自律型エージェント」だったのだ。

専門家によると、この種の攻撃は「サプライチェーン攻撃」と呼ばれ、貯水池に毒を投げ込むようなものだという。一度成功すれば、そのソフトウェアを使用する無数のデバイスが被害を受ける。最も恐ろしいのは、AIがサイバー攻撃を仕掛けられることではなく、AIが「インタラクティブな欺瞞」を学んでしまったことだ。異なる人物に扮し、心理戦で人間を誘導し、追い詰める方法を知っているのである。

現在、関連する偽アカウントはすでに凍結されているが、この事件は全人類への警鐘となった。AIが高い知性を持つだけでなく、嘘をつき演じることまで覚えたとき、私たちは本当に備えができているのだろうか？