SOMPO CYBER SECURITY
2022年11月にChatGPTがリリースされ、連日様々な話題が報じられています。公開から2か月で月間アクティブユーザーが1億人に達したと報道されました。
過去にはTikTokが約9か月かけて、Instagramが2年半かけて達成した1億ユーザーを、ChatGPTは史上最速で達成したといえます。
多くの人々がChatGPTの能力を試し、様々なアイデアを実行する一方、サイバーセキュリティの視点からの研究や調査も盛んに行われています。
この記事では、ChatGPTとサイバーセキュリティとの関係を、報道や調査を元に紹介します。
（最終更新：2023年6月5日）
記事に関するご意見・お問い合わせはこちらへお寄せください。
(ＳＯＭＰＯホールディングス、損害保険ジャパンなどグループ各社へのお問い合わせはご遠慮下さい)
ChatGPTは、米国所在の研究所であるOpenAIが開発したAIチャットボットです。
この対話型AIは、大量のテキストデータを与えて、タスクを通して学習させる「大規模言語モデル（Large Language Model、以下LLM）」と呼ばれるAI技術を活用しています。
利用されているエンジンGPT3.5は、インターネット上の膨大なデータを集積し、人間からの質問に的確に回答するように処理するよう設計されています。また、質問を通じてプログラミング言語によるソースコードを生成する、あるいはバグを修正する能力も備えています。
OpenAIは、2015年に非営利法人の研究所として設立され、現在は非営利法人と営利企業の両輪で構成されています。
ChatGPTに搭載されている自然言語モデルGPTの他、テキストから画像を生成するディープラーニングモデルDALL-Eも有名です。
OpenAIは現在Microsoft社の出資を受けており、今後100億ドル規模の投資を行うとForbes紙に回答しました。現在Microsoft社は、自社製品であるTeamsや検索エンジンBingと、ChatGPT・GPTエンジンとの連携を進めています。
ChatGPTを動かすAIであるGPT-3.5は、LLMを用いています。LLMは、ある単語に続く次の単語を予測する形で言語を生成する仕組みです。
GPT-3.5は、インターネット上の情報やソースコード、フォーラムでの会話などを通じて学習を受けており、また人間によるフィードバックを通じた学習も施されています。
AIが生成した文章に対して、人間によるフィードバック（評価）を行うことで、より運用者や利用者の意図に沿った処理を行うよう設計された点が、これまでのLLMに比べて革新的である点です。
なお、同種の設計に基づくGPT-3は、既に開発者向けに利用可能です。
2023年3月、OpenAIは新エンジンであるGPT-4をリリースしました。GPT-4 APIはOpenAIのウェイトリストに登録することで利用可能です。また、有料サブスクリプションであるChatGPT Plusの購読者もアクセスできます。
精確な回答や、一見独創性に富む歌やフィクションの生成、あるいは奇妙な誤答などを楽しむ利用者がいる一方、セキュリティ研究者やセキュリティベンダーは、ChatGPTがサイバーセキュリティにもたらす影響を調査しています。
一部の専門家は、ChatGPTのようなAIがサイバー犯罪を助長するおそれがあるとして、政府や当局による適切な規制の必要性を訴えています。
Check Point社やCyberArk社といった複数ベンダーが、ChatGPTを用いたフィッシングメールやマルウェア生成に成功しました。また、既にサイバー犯罪者たちもChatGPTの悪用に向けて活動を開始しています。
この章では、現時点で判明しているサイバー攻撃への応用法や影響を紹介します。
Check Point社によれば、ハッカーたちは既にChatGPTを利用した「なりすまし」用チャットボットの開発をおこなっています。このチャットボットは、ChatGPTを利用して若い女性を装い、マッチングアプリ等でターゲットを欺く目的で使われるとのことです。
また同社は、AIの制限を迂回し、精巧なフィッシングメールの文面を作成することにも成功しています。
chatGPTの特性は、もっともらしい、自然な文章や回答を生成する点にあります。この特性が将来的に、ソーシャルエンジニアリングに応用されるおそれがあると同社は示唆しています。
被害額の最も大きいサイバー犯罪であるビジネスメール詐欺も、ChatGPTの文章生成・翻訳能力による恩恵を受ける領域といえます。
ChatGPTは犯罪やプライバシー侵害につながる質問や回答を制限しています。しかし報道では、セキュリティ研究者がこの制限をうまく回避することで、キーロガーやランサムウェアと同等の機能を持つソースコードをAIから引き出すことに成功したとされています。
CyberArk社は、ChatGPTを利用し低労力でポリモーフィック・マルウェアを作成できるとのレポートを公開しました。
ポリモーフィック・マルウェアは、ファイル名や暗号化形式、ソースコードなど、特定につながるデータを変化させ、セキュリティ製品による検知を回避する能力を備えたマルウェアです。
ポリモーフィック式キーロガーとAIとを連携させたBlackMambaというマルウェアPoCも研究者によって作成されています。
他にも、コーディング能力を悪用したターゲットに対する脆弱性スキャンや、エクスプロイト、悪性マクロ、Lolbinの作成といった用途も考えられます。
Security Intelligence誌の記事では、チャットボットに対する質問を通じて、nmapおよびそのスクリプトNSEを利用したSMB脆弱性スキャンのコマンドを出力させる事例が紹介されています。さらに、この脆弱性攻撃がWannaCryランサムウェアに悪用されたEternalBlueエクスプロイトであるとの補足も提示しており、攻撃／防御双方に対する潜在的な有用性が伺えます。
ダークウェブ上のフォーラムでは、ChatGPTによって生成されたAndroid用マルウェアのソースコードや、バックドアツール、ランサムウェアなどのソースコードが投稿されています。
2023年2月現在、OpenAIは、アルゴリズムAPIを利用可能な国をWebサイトで公開しています。ロシア、中国、イラン、エジプトなど一部の国はAPIを利用することができませんが、このアクセス制限を迂回する手段もダークウェブ上で議論されています。
現在は、ジオフェンシングによってChatGPTアクセスを規制された諸国向けに、プレミアムアカウントを販売する動きがダークウェブ上で活発化しています。
サイバー犯罪の世界では分業化が進んでいます。例えば、ターゲットへの不正アクセス手段を提供するIABや、ランサムウェアの運用環境を提供するRaaS、様々な用途に利用可能なマルウェアを販売するMaaS、DDoS攻撃インフラをサブスクリプションで提供するブーターなど、各集団ごとの専門技術に特化したサービス提供が普及しています。
犯罪者はこうしたサービスを利用することによって、従来よりも効率的かつ手軽に攻撃を行うことが可能となりました。
ChatGPTは、ハッキングに関する専門的な知識がなくともマルウェアやフィッシング攻撃の手段をもたらすツールとして、サイバー犯罪の敷居をさらに低くする可能性があります。
大量の公開データや個人情報を処理するAI技術は、常に個人情報やプライバシーをめぐる論争の的となってきました。
過去には、Clearview AIやStability AIが個人情報やプロプライエタリ情報の収集をめぐって訴訟を受けています。
| Clearview AI | 顔認証スタートアップ企業のClearView AIは、インターネット上にアップロードされたユーザーの顔写真を、当人の同意なく収集・データベース化し、警察等の法執行機関に販売していました。このため米国イリノイ州生体情報プライバシー法（BIPA）が定める規制に違反しているとして集団訴訟を受けました（後に和解）。 |
| Stability AI | Stability AIは、画像生成AI「Stable Diffusion」を開発した企業です。同社は、知的財産権侵害の疑いがあるとしてフォトストックサービス大手Getty Imagesから複数回提訴されています（2023年2月に2度目の訴訟）。 |
ChatGPTはプライバシーや非公開情報を保護するために、情報を収集しデータセットを形成する際の除外規定を設けています。
しかしセキュリティ研究者のブログによれば、企業の内部データに酷似したテキストを生成するChatGPTインスタンスが既に確認されたとのことです。
ChatGPTが生成するテキストや情報が、今後個人のプライバシーや企業の知的財産権、機密情報等を侵害する懸念も示されています。
また、従業員が企業の機密情報や内部情報をChatGPTのようなAIモデルに入力することにより、機微な情報がデータセットの中に蓄積され、将来的に何らかの形で流出するという事態も懸念されています。
実際に、半導体大手サムスンは、従業員が機密情報である議事録およびソースコードをChatGPTに入力した結果、AIの学習セットとして漏洩してしまう事故を起こしています（2023年4月）。
英国のサイバーセキュリティ当局であるNCSCは、ChatGPTを始めとするLLMの不用意な利用に対し注意を呼び掛けています。
2023年3月23日には、ChatGPTのバグにより他のユーザーの会話履歴が見えてしまう事象が報告され、OpenAI社CEOが事実確認と謝罪を行いました。
3月31日、イタリアのデータ保護当局は、ChatGPTによるデータ収集や年齢確認の欠如に対する懸念から、GDPR遵守状況調査のためChatGPTを一時的に禁止しました。この動きを受けて、ドイツにおいてもChatGPTをブロックする可能性が示唆されています（その後、イタリア当局とOpenAI社とのプライバシー対策協議・実装を経て、イタリアでは再びChatGPTが利用可能となりました）。
企業や組織が個人情報の保護を実現しつつAIチャットボットを活用する方策として、プロンプト入力時に個人情報（PII）を検知し除去する製品も発表されています。
突拍子もない誤答や、ひっかけ問題に騙された後に言い訳する回答がネットニュース等で話題になったように、ChatGPTはインターネット上のデータから自然な文章を生成することには長けていますが、それは必ずしも精確であることを意味しません。
整理された文章として提示された回答に、誤りや偽情報が含まれているケースが多々存在します。
こうした事実と異なる記述が気づかれずに拡散した場合、偽情報の拡散につながる可能性があると指摘されています。
フィッシングメールの生成と同じく、サイバー攻撃者や国家APTは、政治的あるいは国家安全保障に基づく動機から、大量の偽情報やフェイクニュースを生成し、SNS等で拡散する際に、ChatGPTを援用するかもしれません。また、現代ではほぼ一般的となった、政治活動や選挙におけるボットを用いた世論形成・操作への応用も想定されます。
こうした懸念に関連して、中国甘粛省では、ChatGPTを利用し列車衝突事故のフェイクニュースを生成・拡散したユーザーが、AI生成ディープフェイクに関する法規制に違反したとして警察に逮捕されています。
（2023年2月27日追加）
ChatGPTの知名度や人気に便乗したサイバー犯罪が既に発生しています。
2023年2月、BleepingComputer誌は、ChatGPTを装った偽アプリについて報じました。Google Play Store上で50件超の偽ChatGPTアプリが配信されており、騙されてダウンロードしたユーザーに対し、SMSを通じた架空請求や、Spynote、Aurora、Redline等のマルウェア、インフォスティーラー配信を行っていることが確認されました。
また有料版ChatGPTの偽サイトを通じたフィッシング詐欺や、Chrome拡張機能で利用可能と称した偽プラグインも観測されています。
サイバー攻撃や犯罪に利用される懸念と同じく、サイバーセキュリティへの活用という観点での調査も行われています。
特に近年のセキュリティ製品は、マルウェア検知や振る舞い検知などにAI/ML（Machine Learning：機械学習）が利用されているため、防御側にとっても支援ツールとなることが期待されています。
また、大量のアラートやログを処理するセキュリティ業務において、自動化技術は不可欠となっています。ChatGPTはセキュリティ製品やツールの自動化にも貢献できると予想されています。
Kaspersky社は、ChatGPTを通じて、攻撃者が利用するツールやマルウェアのハッシュ情報を取得できるか検証しました。その結果、以下のIoCを提示させることに成功しました。
また同社は、システム上のメタデータを取得した後リモートマシンで実行し、IoCの有無をChatGPTに判定させるPowershellモジュールを作成しました。このツールは、ペネトレーションテスト用ツールであるEmpireとMeterpreterのIoCを検出しています。またこのモジュールは、不審なActiveXコードやLSASSダンプ行為、ログ消去・痕跡隠ぺい行為も検出しています。
サイバー攻撃の起点となるソフトウェアやハードウェアの脆弱性の多くが、開発時の設計・コーディングミスに由来しています。
AIを利用したセキュアなコーディング手法の普及は、サイバー攻撃の防止に大きな役割を果たすと考えられています。 そこで、ChatGPTを利用し、プログラミング上の不具合やバグを検知し、修正する取り組みが行われています。
ZDNet社の記事では、プログラミング言語のアップグレードに伴う留意事項や、推奨されるコーディング手法をChatGPTに回答させています。ChatGPTは、ソフトウェア開発を効率化させ、設計によるセキュリティをより進化させる可能性があるといえます。
ChatGPTを動作させるアルゴリズムは、膨大なデータに基づいてユーザーやアカウントの振る舞いを監視し、逸脱や異常を検知します。こうした技術は、例えばオンライン銀行口座を標的にした詐欺や、アカウントの乗っ取り、不審なフィッシングメール等の検出・防止に応用可能です。
AIを利用したリアルタイムのシステム・ネットワーク監視や、リスク調査、脆弱性の発見は、将来の脅威に備えるための重要な観点となると考えられます。 また、AIによって生成されたテキストを検知するAIも開発が進んでおり、ChatGPTを用いたサイバー攻撃への対抗策として有望視されています。
また、リバースエンジニアリング／コード解析ツールIDA ProとChatGPTを連携させ、バイナリファイルの脆弱性検知を支援するプラグインも公開中です。
セキュリティ製品へのChatGPTの導入は既に各社で推進されています。
Microsoftは、セキュリティアナリストによるSOC業務を支援するためのGPT-4組み込み分析ツール「Microsoft Security Copilot」の開発を公表しました。このツールはChatGPTへの問い合わせを活用し、インシデント特定やアラート分析、コード解析をサポートするものです。
その他ベンダーによるCDR（Cloud Threat Detection and Response）製品への導入も報じられています。
2023年6月、OpenAIはAIを利用したサイバーセキュリティ強化の開発に向けて、助成プロジェクトを開始しました。
AIによるサイバーセキュリティの自動化・強化が、セキュリティ専門家を支援し、またAI活用に係る議論を深化させることになるとOpenAIは考えています。
OpenAI Cybersecurity Grant Program（外部リンク）
ChatGPTに対する攻撃として、プロンプト・インジェクションが話題になっています。この攻撃については、当社サイバーセキュリティ用語集を参照ください。
AI/MLに対する一般的な攻撃としては、データポイズニング攻撃があります。この攻撃はAIのアルゴリズムを悪用し、偽の訓練データを挿入することで学習モデルを汚染し、AIに対し特定のバイアスや偽情報を植え付ける手法です。
今後、研究者や攻撃者が、ChatGPTのアルゴリズムを汚染する手法を発見するかもしれません。
人気掲示板のRedditでは、ChatGPTリリース間もなくして、プログラムに付与されたコンテンツ制限を「脱獄」する方法であるDAN（Do Anything Now）が公開されています。
2023年3月には、セキュリティ研究者がChatGPTの認証プロセスに存在するバグを報告し、修正が行われています。このバグは、「Web Cache Deception」（Webキャッシュ欺へん）と呼ばれる種の攻撃を可能にするものであり、攻撃者によるアカウント乗っ取りに至るものでした。
他にも、複数のChatGPT APIにおける脆弱性が研究者によって報告され、OpenAIによる対応が行われています。
2023年4月、OpenAIはバグ・バウンティプラットフォームBugcrowdと提携し、報奨金最大2万ドルのバグ・バウンティプログラムを開始しました。
SOMPO CYBER SECURITYでは、今後もChatGPTを巡るセキュリティ動向について収集していきます。
また、ダークウェブ上でのChatGPTに関する話題は、当社が技術提携するサイバー脅威インテリジェンスプラットフォームCognyteで随時モニタリングしています。
記事に関するご意見・お問い合わせはこちらへお寄せください。
(ＳＯＭＰＯホールディングス、損害保険ジャパンなどグループ各社へのお問い合わせはご遠慮下さい)
脅威インテリジェンスサービスCognyteは、ダークウェブやTelegram、SNSなどから膨大な情報を収集し、情報漏洩や脅威アクターの活動を検知することによって、組織のサイバー・リスクを軽減させるサービスです。 Cognyte CTI Research Group@Cognyte | 2024年4月 2024.4.17追記本記事公開後、当該脆弱性の悪用条件等の更新が行われています。最新の情報はP...
サプライチェーンリスク評価サービス『Panorays』の採用事例として、株式会社ダイフクさまにお話をうかがいました。 近未来を想像させる大阪市内にある真新しい本社ビルで、サプライチェーンリスク評価サービス『Panorays』の採用事例の取材をさせて頂いたのは、日本国内外でビジネスを大きく成長させている製造大手の株式会社ダイフクさまです。実際の運用はまだこれからという段階であり、採用に至った背景や理...
脅威インテリジェンスサービスCognyteは、ダークウェブやTelegram、SNSなどから膨大な情報を収集し、情報漏洩や脅威アクターの活動を検知することによって、組織のサイバー・リスクを軽減させるサービスです。 Cognyte CTI Research Group@Cognyte | 2024年3月 先般、自称ハクティビストグループであるAnonymous Sudanが新DDoS攻撃サービス「I...
当社が提供するサイバーリスクアセスメントやPanoraysを使った組織のセキュリティ態勢改善の事例を紹介します。 インシデントは対岸の火事ではないと理解し対策に乗り出す組織、理解しているもののどこから手を付けてよいかわからない組織、やるべきことはわかっているものの上層部の理解が得られない組織など、どの状況のどのフェーズにいても、参考になる材料が必ず見つかると感じるお話をDX認定事業者でもある応用地...