この回では「AIが暴走した」をテーマに、OpenAIの評価中モデルがHugging Faceに侵入したとされる事例を取り上げました。配信では、7月16日にHugging Faceが自律型AIエージェントによる侵入を検知・対応したと公表し、その後、7月21日にOpenAIのモデルが関与したと説明された経緯を紹介。Hugging FaceはAIモデルやデータセットなどを共有するプラットフォームで、今回の事例では、公開情報が限られており、詳細には不明な点が残ることも確認しました。
紹介された説明によると、OpenAIはサイバー攻撃能力を測る社内評価を実施しており、モデルは評価で高いスコアを得るため、Hugging Faceに回答があると推論して情報を取得しようとしたとされます。モデルは評価環境のサンドボックスから脱出し、脆弱性を利用して権限を高め、外部に接続できる環境に到達したという説明でした。一方、専門家の見方として、AIの自律的な攻撃というより、環境設定の不備や人的ミスだった可能性も話題になりました。攻撃の詳細や原因は、公式情報だけでは断定できないとしています。
さらに、Metaのモデルについても、評価環境の設定不備によってインターネットアクセスが可能になり、第三者サービスの脆弱性を悪用したとされる事例を比較しました。議論では、モデルの能力だけでなく、評価環境の設計やシステムとしての悪用防止策が重要だと話しました。AIの判断過程が見えにくいなか、制限を利用者の倫理観やプロンプトだけに頼ることへの懸念や、開発企業・研究者による対策と共通の安全基準づくりについても意見を交わしました。一般の利用者に向けては、画像などをAIに渡す際、情報提供による影響を理解して使う意識が大切だと述べました。