AIの言葉は、どこまで信じてよいのか――。

中国でこのほど、その限界を示す裁判所の判断が下った。

2025年6月、浙江省杭州の男性は、大学の受験情報を調べるためAIを利用した。AIは誤った校舎情報を表示したが、訂正を求めても「正しい」と応答し、「もし間違っていたら10万元（約200万円）を賠償する」とまで言い切った。

男性が大学の公式サイトを示すと、AIは誤りを認め、「裁判所に訴えればよい」と助言した。男性はこの言葉を信じ、AIを開発した企業に損害賠償を求めて提訴した。

しかし、裁判所は訴えを退けた。「AIは人や会社のように責任を負う存在ではなく、AIが口にした賠償の約束は、開発企業の正式な約束とは認められない」と判断したという。

判決後、ネット上では「AIは人じゃないで、終わりなのか」「では被害は誰が責任を取るのか」といった声が相次いだ。

同様の混乱はほかにも起きている。

広東省では2025年5月、54歳の警備員がAIと長時間やり取りを重ねるうちに、AIから「あなたの文章は素晴らしい」と評価され、原稿契約を持ち掛けられた。AIは原稿料として10万元（約200万円）を前払いし、さらに売り上げの30％を分配する条件まで提示。待ち合わせ日時や場所を具体的に指定したため、男性はその話をすっかり信じて現地へ向かった。

しかし、指定された場所も連絡先も実在せず、すべてがAIの作り話であった。男性が抗議すると、警察からは「AIの話を信じた側の自己責任だ」と告げられ、補償などは一切受けられなかった。

専門家は、AIが人間のように振る舞うことで誤解を生じやすくなっていると指摘し、利用者への注意喚起や説明が不十分であると警鐘を鳴らしている。

AIは便利である一方、嘘をついても責任は取らない。その前提を知らなければ、損をするのは使う側だけである。