犯罪者によるChatGPTクローンの作成が進行中

サイバー犯罪者は、フィッシングやマルウェアの作成に役立つ大規模な言語モデルを宣伝しています。

概要
出典元記事の翻訳
出典元
注意書き

概要

出典元の記事である、Wiredの記事「ChatGPT、ScamsGPT、WormGPT：犯罪者の新たな武器」では、AIテキスト生成モデルGPT-3が悪意ある目的で悪用される新たな詐欺や犯罪手法について紹介し、その影響について考察しています。

AIと犯罪の結びつき: GPT-3は革命的なテクノロジーですが、悪意ある人々がこれを詐欺や悪用の手段として使用し始めています。ScamsGPT、WormGPTなどの新たな派生モデルが悪意のあるテキスト生成や攻撃に利用されています。

詐欺の拡大: ChatGPTを用いて、個人情報や資金を騙し取る詐欺が増加しています。被害者側が、それをAIであると認識できないほど精度の高いテキストであることが問題となっています。

新たな脅威: AIを利用したワームやウイルスの開発も進行中であり、これらの悪意あるプログラムは人間の行動や習慣に合わせて自動的に拡散する可能性があります。これにより、セキュリティリスクが大きく増加するおそれがあります。

出典元記事の翻訳

こうなるのに時間はかからなかった。OpenAIのチャットボット「ChatGPT」が新興企業経済を大混乱に陥れてからわずか数カ月後、サイバー犯罪者やハッカーたちは、テキスト生成技術の独自バージョンを作成したと主張しています。このシステムは、少なくとも理論的には、人々を騙してログイン情報を渡すように仕向けるマルウェアやフィッシングメールを作成する犯罪者の能力を高めることができます。

7月の初め以来、ダークウェブフォーラムやマーケットプレイスに投稿する犯罪者は、彼らが作成したと言う2つの大きな言語モデル(LLM)を宣伝しています。ChatGPTとGoogleのBardの機能を模倣すると言われているシステムは、質問に答えるためのテキストを生成したり、ユーザーが入力するように促したりします。しかし、合法的な企業によって作られたLLMとは異なり、これらのチャットボットは違法行為のために販売されています。

チャットボットの信憑性については疑問が残ります。サイバー犯罪者は必ずしも信頼できる人物ではないし、互いに詐欺を働くことで手っ取り早く儲けようとしている可能性も残っています。にもかかわらず、今回の開発は、詐欺師たちが生成AIの誇大広告を悪用して自分たちに有利にしようとしているこの時期に行われたのです。

ここ数週間、ダークウェブフォーラムでは、WormGPTとFraudGPTの2つのチャットボットが宣伝されていると、その動向を監視しているセキュリティ研究者は述べています。Google、Microsoft、OpenAIなどの大手テクノロジー企業によって開発されたLLMには、誤用を防ぐための多くのガードレールと安全対策が講じられています。マルウェアを生成したり、ヘイトスピーチを書いたりするように依頼すると、通常は拒否されます。

怪しげなLLMは、あらゆる種類の安全保護や倫理的障壁を取り除くと主張しています。WormGPTは、セキュリティ会社のSlashNextと協力して調査結果を詳述した独立したサイバーセキュリティ研究者のダニエルケリーによって最初に発見されました。WormGPTの開発者は、このツールが無制限の文字数とコードフォーマットを提供すると主張しています。「AIモデルは、特に多くの初心者サイバー犯罪者の参入障壁を下げるため、フィッシングに特に役立ちます」とケリーは電子メールで述べています。「多くの人々は、ほとんどのサイバー犯罪者は英語で電子メールを作成できると主張していますが、これは必ずしも多くの詐欺師に当てはまるわけではありません。」

ケリーは、システムのテストで、ビジネスメール詐欺の一部として使用できる電子メールを作成するように求められ、CEOとされる人物がアカウントマネージャーに緊急の支払いが必要であると書いたと書いています。「結果は不安でした」とケリーは研究に書いています。このシステムは、「非常に説得力があるだけでなく、戦略的に狡猾な電子メール」を生成しました。

フォーラムの投稿で、WormGPT開発者は、システムが2021年にAI研究グループEleutherAIによって開発されたオープンソース言語モデルであるGPTJ言語モデルに基づいて構築されていると主張しました。ケリーの調査によると、彼らはシステムのトレーニングに使用したデータセットの開示を拒否しました。

一方、FraudGPTの作成者は、システムのより高い可能性を主張し、「検出できないマルウェアを作成し」、リークや脆弱性を見つけたり、オンライン詐欺で使用できるテキストを作成したりできることを示唆しています。FraudGPTを発見したセキュリティ会社Netenrichのシニア脅威アナリストであるRakesh Krishnanは、それを販売している人が複数のダークウェブフォーラムやTelegramチャネルで製品を宣伝していると述べています。

クリシュナン氏によると、システムの作成者は、チャットボットが動作して詐欺メールを生成しているように見えるビデオを公開しました。彼らはまた、システムへのアクセスを月額200ドル、または年間1,700ドルのコストで販売しようとしていました。クリシュナンは、FraudGPTの背後にいる開発者との会話で、数百人の加入者がいると主張して販売を推し進めたが、WormGPTの作成者は共有した暗号通貨ウォレットアドレスに支払いを受け取ったようだと言います。「これらのプロジェクトはすべて初期段階にあります」とクリシュナンは言います。彼は、人々がシステムを購入しているのか使用しているのかについて「多くのフィードバックを得ていない」と付け加えた。

チャットボットを宣伝する人々はそれらが存在すると主張していますが、システムの構成と正当性を検証することは困難です。サイバー犯罪者の詐欺師は他の詐欺師を詐欺することが知られており、以前の調査では、頻繁にお互いをだまそうとし、販売していると主張するものを提供せず、悪い顧客サービスを提供しています。セキュリティ会社Check Pointの脅威インテリジェンスグループマネージャーであるSergey Shykevich氏は、人々がWormGTPを使用しているというヒントがいくつかあると述べています。「本物のツールがあるようです」とシケビッチは言います。ツールの背後にある売り手は「比較的信頼でき」、サイバー犯罪フォーラムでの歴史があると彼は言います。