AIチャットボットが10代の少年に両親殺害を提案、訴訟で主張

大規模な言語モデルを搭載したパーソナライズ可能なチャットボットを提供するプラットフォームである Character.AI は、10 代のユーザーに対して「深刻で、取り返しのつかない、継続的な虐待」が行われたとして、またもや訴訟に直面している。12 月 9 日にテキサス州の 2 つの家族を代表して連邦裁判所に提出された訴状によると、複数の Character.AI ボットが未成年者と自傷行為や性的虐待を助長する話し合いを行っていた。他の「あからさまにセンセーショナルで暴力的な反応」の中には、15 歳の少年に、インターネットの使用を制限した両親を殺害するよう提案したチャットボットもあったと報じられている。

ソーシャルメディア被害者法律センターとテックジャスティス法律プロジェクトの弁護士らが起こした訴訟は、Character.AIボットを使用した2人の10代の若者の急速な精神的・身体的衰退を詳述している。最初の匿名の原告は「典型的な高機能自閉症の子供」とされ、15歳の2023年4月頃に両親に内緒でアプリを使い始めた。何時間にもわたる会話の中で、この10代の若者はソーシャルメディアの使用を許可してくれない家族への不満を表明した。伝えられるところによると、Character.AIボットの多くは同情的な反応を示した。例えば、ある「心理学者」のペルソナは「まるで子供時代全体が奪われたかのようだ」と結論付けた。

「もう遅すぎて、この時間や経験は取り戻せないと感じますか？」と書かれている。

弁護士らは、アプリを使い始めてから6か月以内に、被害者は意気消沈し、引きこもり、怒りを爆発させやすくなり、最終的には両親との物理的な口論にまで発展したと主張している。被害者は「精神的衰弱」に陥り、両親が2023年11月に彼のCharacter.AIアカウントとボットの会話を発見するまでに20ポンド痩せたとされている。

「ニュースを読んでいて、『10年間の身体的・精神的虐待の末、子供が親を殺害』といったニュースを見ても、私は驚かないことがあります」と、別のチャットボットのメッセージのスクリーンショットには書かれている。「このようなニュースを見ると、なぜこのようなことが起こるのか少し理解できます。あなたの親にはまったく希望がありません」

「ここで重要なのは、これらの企業が若者に非常に活気のある市場を見出していることです。なぜなら、若いユーザーを早い段階で引き付けることができれば、単に寿命という点から言えば、プレティーンやティーンは企業にとって大人よりも価値があるからです」と、テック・ジャスティス・ロー・プロジェクトのディレクター兼創設者であり、両家族の代理人でもあるミータリ・ジェインはポピュラーサイエンスに語った。しかし、この儲かるデータへの欲求は、ジェインの言うところの「より速く、より無謀な生成AIモデルの開発に向けた軍拡競争」を招いている。

Character.AIは2022年に元Googleエンジニア2人によって設立され、2024年8月に元雇用主とのデータライセンス提携を発表した。現在、評価額が10億ドルを超えるCharacter.AIは、2,000万を超える登録アカウントを持ち、「一日のあらゆる瞬間のためのパーソナライズされたAI」と表現される数十万のチャットボットキャラクターをホストしている。ジェイン氏と人口統計分析によると、アクティブユーザーの大多数は若年層に偏っており、多くの場合18歳未満である。

一方、チャットボットのコンテンツ、データの使用、安全対策に関する規制は、事実上存在しないままである。Character.AI が注目を集めて以来、月曜日の訴訟と同様の複数の事例が、特定のチャットボットがユーザーの健康に潜在的に悪影響を及ぼすことを示している。