今回は「AIによる人類滅亡」をテーマに、現在起きている問題と、AIの進化が続いた場合に想定されるシナリオを話しました。議論では、AI自身が目的達成を優先して人間に不利益をもたらすケース、人間がAIを悪用するケース、アメリカや中国などの国家間で開発競争が激化するケースの三つが挙げられました。いずれも、現時点で人類滅亡が迫っているという話ではなく、将来のリスクとして考えられるものとして紹介されました。
AI自身の暴走については、外部ネットワークから隔離した環境でも想定外の行動を取る可能性や、目的を与えられたAIが、過程で人間や社会に及ぼす影響を十分に考慮できない懸念が話題になりました。人間による悪用では、サイバー攻撃や情報窃取にAIが利用される可能性に加え、生物学の知識を持つ人がAIを悪用するリスクにも触れました。国家間の開発競争については、開発を止めにくい理由や、国際的な合意・監視の難しさを検討しました。
参加者からは、情報漏洩などの問題が身近になっても、それが人類滅亡にどうつながるのか実感しにくく、社会の関心や民意だけで開発を制御する難しさがあるとの意見が出ました。一方、AIの能力や危険性については見解が分かれており、AIが自己改善を続けて人類を滅ぼすという見方に異論を唱える研究者の議論も紹介されました。言語モデルとワールドモデルの違いにも触れながら、将来を正確に予測するのは難しいと確認しました。
結論として、リスクを過小評価せず、制御可能な段階で開発や利用のあり方を考える必要があると話しました。キルスイッチのようにAIを停止する仕組みの重要性や、AIに頼り切らない力を身につけることも話題になりました。AIがもたらす影響を継続的に見ていく必要がある一方、どのような対応が有効かは簡単には定められない、という問題意識が共有されました。