AIパッケージ幻覚とは【用語集詳細】
AIパッケージ幻覚（AI Package Hallucinations）あるいはAIパッケージ・ハルシネーションは、人工知能における「幻覚」（Hallucination）を悪用する攻撃手法です。
幻覚は、人工知能が情報を捏造し、あたかも事実を吐いているかのように振る舞う挙動を示す用語ですが、攻撃者はこの幻覚を悪用し、ChatGPT等のAIチャットボットに対して、悪意のあるコードパッケージをユーザーに推奨するように働きかけます。
この攻撃手法は、Vulcan Cyber社の研究チームによって公表された後、メディアで報じられました。
攻撃シナリオでは、攻撃者はChatGPTに対し、コーディングの問題に関する解決策を質問します。これに対しChatGPTは幻覚を伴う回答、すなわち実際には存在しないパッケージリポジトリを含む複数のパッケージを解決策として回答します。
この回答を確認した攻撃者は、ChatGPTが提示した存在しないパッケージ名を持つ悪性パッケージを公開することにより、ターゲットに対し悪性コードを配送することができます。
現在主流となっている悪性パッケージの配布方法は、タイポスクワッティング等を用いたなりすまし／偽パッケージの公開ですが、AIパッケージ幻覚を用いることで、このような攻撃がより検知しにくくなる可能性があります。
参考記事：ChatGPTとサイバーセキュリティ
