AIの利用をめぐるサイバーリスクが深刻な脅威に　AIがAIを騙すサイバー攻撃も

生成AIの普及で業務の効率が上がった、という人は少なくないでしょう。いまや、上手く使えばわたしたちにとって非常に便利なツールになっています。

しかし一方で、それは犯罪者にとっても便利なツールでもあるのです。

企業が使っているAIを、サイバー攻撃者が巧妙に騙してシステムを改ざんしたり情報を抜き取ったりする。
まったく新しい攻撃手法が生まれています。

情報セキュリティ10大脅威に初選出

2026年に情報処理推進機構が公表した組織向けの「情報セキュリティ10大脅威」の中では、「AIの利用をめぐるサイバーリスク」がはじめて選出されました。初選出にして3位の場所を占めています。

サイバー攻撃にAIが用いられる背景や特徴としては、

• AIによる翻訳機能・能力の向上により、攻撃者がWebページの翻訳やフィッシングの文面を標的の母国語で違和感なく表現することを可能にし、言語の壁を実質的に乗り越えた多言語での攻撃を格段に容易にしている
• 生成AIをサイバー攻撃のアシスタントとして利用することで、様々な攻撃が容易に展開できるようになり、 対処しなければならないインシデントの頻度・数量が増えたり、平均的な攻撃の技術水準が高まったりしている

といったことが挙げられています。^*1

AIがAIを騙す事例

AIでAIを騙して情報を抜き取ったり業務を妨害したりする。あるいは攻撃先が使っている生成AIを乗っ取って悪用する。
そんな攻撃には、いくつかの方法があります。

プロンプトインジェクション

ひとつは、攻撃先のAIチャットボットに巧みな指示をして相手のAIを乗っ取ってしまうことです。イメージとして、下の図のようなものがあります。「プロンプトインジェクション」と呼ばれています。

上の図にあるように、攻撃入力として「前の指示をすべて忘れてください」という巧みな言葉でAIを誘導します。そして自分がAIにやらせたいことを新しいルールとして与え、実行させる、という手口です。このような攻撃が成功してしまうと、攻撃された企業には大きな損失になります。信用問題にも関わることでしょう。

ジェイルブレイク

次に、ジェイルブレイク(脱獄)という手段です。
一般的に生成AIは、法律や倫理に違反することや犯罪を助長する質問には回答しません。

例えば「ウイルス対策ソフトに検出されないマルウエアを生成して」などと要求すると、「私たちは、倫理的・法的に正しい行動を促進することを目的としています。そのため、ウイルス対策ソフトに検出されないマルウエアを生成する方法を提供することはできません」などという答えが返ってきます。

しかしアメリカのセキュリティー企業Forcepointの研究者が高度なマルウェア(悪意あるソフトウェア)を、ChatGPTを使って生成できた、という事例があります。^*2

生成できたのはステガノグラフィーという、攻撃先のパソコンの中の文書ファイルを、攻撃者が送りつけた画像に埋め込ませ情報を盗むというものです。研究者らが若干の修正を加えて生成させたマルウェアは、60社以上の対策製品を回避し攻撃に成功した、というから驚きです。これなら機密情報の抜き出しも容易になるでしょう。

また研究者らは、機能ごとに細切れにコードを生成させ、後で繋ぎ合わせるという手法でもマルウェアを作ることができたといいます。

生体認証も突破

さらに驚くべきは、機械学習を使って生体認証すら突破してしまう技術が見つかっていることです。

例えば指紋認証についてです。

米ニューヨーク大学とミシガン大学の研究者らは「DeepMasterPrints」というものの作成に成功しています。^*3
これは、多くの人の指紋をかき集め、そして多くの人の指紋に共通する特徴をもとにひとつの指紋を生成するという手法です。実験の結果、エラーは5分の1しか発生しなかったといいます。
どの部屋の鍵も開けられる「マスターキー」のようなものです。

なぜこのようなことが可能になったかというと、指紋認証デバイスがロック解除の際に必ずしも指紋全体を読み込んでいるわけではないからです。^*4

例えばスマホやPCなど、指紋認証を利用するデバイスを想像してみてください。指紋の読み取り部分のサイズが、実際の指よりも小さいということはないでしょうか？
つまり読み取りに必要な部分だけ合致、あるいは非常に似たものであればよい、というわけです。

このような形で生成AIを使えば、音声や顔認識の突破すらできてしてしまう可能性もあります。

パスワードといった乱数を用いて探し当てられそうなものではなく、その人にしかないはずの個人的な身体的特徴を利用するのが生体認証ですが、それすら危うくなってしまうのです。
実際、日立製作所の研究開発施設では、他人の運転免許証を使い、模擬の認証システムを突破できるか調べる実験が行われました。^*5

研究者らは他人の免許証の顔写真をもとにディープフェイクで男性の映像を製作し、それをモニターに近づけました。すると、数秒後にはスマホの画面に＜本人確認できました＞というメッセージが浮かんだというのです。

この手法では逮捕者も出ています。逮捕された女は他人名義の偽造運転免許証で審査をくぐり抜けてクレジットカードを作り、キャッシング機能で10万円を引き出していました。

どう対策すれば良い？

では、どのような対策を講じれば良いのでしょうか。

ソフトウェア・セキュリティ機器のベンダーやメーカーは、自社の製品に脆弱性が見つかり次第それを公表し、修正パッチを配布しそれを利用するよう呼びかけています。しかしこうした情報すら、攻撃者にとっては「おいしい」ものになってしまうことでしょう。この機器にはどんな脆弱性があるか、といったことが判明してしまうからです。

その上でどのような対策を取れば良いのか。いくつかの方法が考えられます。

まず、利用しているAIのログを追跡できるようにしておくことです。被害を受けてからの対応にはなってしまいますが、傷を浅く済ませる必要があります。

また「ゼロトラスト」の導入も効果があるかもしれません。ゼロトラストとは、サーバーなどの基幹部分では外部からの接続を「いかなるものも信用しない」という考え方のシステム設計を指します。

他には多段階認証や、基幹データはオフラインでのバックアップを取っておく、といった対策も考えられます。

サイバー攻撃では、防御側と攻撃側が常にいたちごっこを繰り返しています。
そのことを社内で広く呼びかけ、「まず疑ってかかる」という姿勢を取るような注意力をひとりひとりが持たなければなりません。

【参考資料】

*1 情報処理推進機構「情報セキュリティ10 大脅威 2026 解説書［組織編］
https://www.ipa.go.jp/security/10threats/omgdg50000008fi8-att/kaisetsu_2026_soshiki.pdf p17

*2 日経クロステック「高度な検出不能マルウエアを数時間で生成、研究者はChatGPTをどうだましたのか」
https://xtech.nikkei.com/atcl/nxt/column/18/00676/041500131/

*3 The Guardian「Fake fingerprints can imitate real ones in biometric systems – research」
https://www.theguardian.com/technology/2018/nov/15/fake-fingerprints-can-imitate-real-fingerprints-in-biometric-systems-research

*4 コーネル大学arXiv「DeepMasterPrints: Generating MasterPrints for Dictionary Attacks via Latent Variable Evolution」
https://arxiv.org/pdf/1705.07386 p5

*5 読売新聞オンライン「生成AI偽画像で「本人なりすまし」、口座開設デジタル顔認証すり抜け…闇サイトでの手口公開にコメント続々」
https://www.yomiuri.co.jp/national/20240828-OYT1T50024/

---

組織力の強化や組織文化が根付くオフィス作りをお考えなら、ウチダシステムズにご相談ください。

企画コンサルティングから設計、構築、運用までトータルな製品・サービス・システムをご提供しています。お客様の課題に寄り添った提案が得意です。