生成AIモデルのセキュリティリスクと対策

序文

生成AIモデルが昨今非常に話題になっており、アプリケーションに組み込まれる/連携する時代になりました。

この生成AIモデルを悪用した新しいハッキング方法が確立されつつあるようです。

アメリカの研究者が「Morris II」というマルウェアを用いて生成AI搭載アプリへ攻撃することに成功したそうです。

参考：

https://www.wired.com/story/here-come-the-ai-worms/
https://www.itmedia.co.jp/news/articles/2404/05/news049.html#l_tm1636144_sl04041_2_w490.jpg

ChatGPTやGeminiなどの文章生成AIで拡散するマルウェア Morris II を研究者が発表

ユーザー操作を必要としない「ゼロクリック型の攻撃」とのことで、とても怖いですね。

生成AIへの脅威にはどういったものがあるのか気になったので調査してみました。

生成AIモデルとは

生成AIモデルとは、人工知能技術の一種で、自然な文章/画像/音声などを生成することができるモデルです。
大量の学習データを利用し情報を生成するため、様々な分野で活用されています。

事例：ディープフェイクに騙され38億円送金

以下の記事によると、とある企業の財務担当者がAIにお金を騙し取られるという事件があったそうです。
その際、ビデオ通話の映像と音声はAIを利用して合成・複製されたものであるとのこと。
記事：https://metaversesouken.com/ai/generative_ai/incident/#38

対策としてはC2PAという電子署名に関する規格が注目されているようです。
記事：https://cloud.watch.impress.co.jp/docs/column/infostand/1504129.html

事例：敵対的攻撃（Adversarial Attack）を駆使し、AIモデルに誤った判断をさせる

以下の記事によると、AIへの入力データにノイズを注入することで誤判定させる攻撃があるそうです。
記事：https://qiita.com/m__k/items/a34ed060a64ab30c7d04
例えば、見た目はアヒルの画像なのにAIは馬と誤認識するなど。

対策としては「攻撃者にモデルを渡さない」「モデルへのアクセスに認証を設ける」などが推奨されています。
記事：https://www.skillupai.com/blog/tech/adversarial-attacks/#no4

まとめ

生成AIが広まるにつれて、セキュリティリスクも高まっているのですね。
生成AIをシステムに組み込む際にはしっかりと脅威分析をし、対策を検討する必要があると思います。

参考リンク

https://www.wired.com/story/here-come-the-ai-worms/
https://www.itmedia.co.jp/news/articles/2404/05/news049.html#l_tm1636144_sl04041_2_w490.jpg
https://rocket-boys.co.jp/genai-malware-morris2/
https://pc.watch.impress.co.jp/docs/news/1573981.html
https://metaversesouken.com/ai/generative_ai/incident/#38
https://cloud.watch.impress.co.jp/docs/column/infostand/1504129.html
https://qiita.com/m__k/items/a34ed060a64ab30c7d04
https://www.skillupai.com/blog/tech/adversarial-attacks/#no4

関連記事

2024年4月4日 ログインなしでChatGPTを体験！新たな会話体験を手に入れる方法