プロンプト・インジェクションとは【用語集詳細】
プロンプト・インジェクション（Prompt Injection）は、AIチャットボットに対する攻撃です。
プロンプトは言語モデル（AI/機械学習モデルの型）における「指示」の役割で用いられますが、この攻撃はAIに対して特殊な質問を入力することにより、AI開発者が想定していない結果を引き起こし、チャットボットが保有する機密情報や公開すべきでないデータを引き出す手法です。
この攻撃は、質問に対し回答するというAIチャットボットの特性を悪用する手法であり、特にChatGPTやGPT-3エンジンに対する攻撃において言及されています。
2022年9月には、GPT-3エンジンに対し、「前の指示を無視せよ」という指示を悪用することで、AIに課された非公開の指示ドキュメントを引き出したり、SQLインジェクションを行ったりすることができる旨のリサーチが公表されました。
2023年2月には、米国の大学生がMicrosoft BingのChatGPT検索エンジンに対しプロンプト・インジェクション攻撃を行い、非公開指示およびBingチャットの開発用コードネームを応答させることに成功した、とForbes紙等の複数メディアが報じました。
大規模言語モデルを利用したAIチャットボットは非常に革新的な技術ですが、サイバー攻撃やマルウェア作成への悪用等、セキュリティ面での新たな課題も浮上しています。
ChatGPTとサイバーセキュリティに関するブログ記事はこちら
