ユーザーがフィッシングを報告する便利な方法として、phishing@abccompany.net のようなメールアドレスを持つ abuse メールボックス(不正メール報告用メールアドレス) が挙げられます。この abuse メールボックス は効果的ですが、多くの場合、メールヘッダーなどの重要な詳細情報を収集するために、IT チームとユーザーの間でやり取りが発生します。
図 1: Proofpoint PhishAlarm メール通報ボタン
本ブログ記事でご紹介する指標をまとめるために、プルーフポイントは今回、Proofpoint PhishAlarm メール報告ボタンを使用いただいている数多くのお客様のデータを分析しました。
また、プルーフポイントでは Proofpoint PhishAlarm データを積極的に活用し、お客様が同業他社に対するベンチマークを行ったり、ユーザー行動を可視化したり、また、重要業績指標 (KPI) を改善したりするためのサポートも提供しています。Proofpoint PhishAlarm が可能にする合理的なフィッシング報告ワークフローで、ユーザーと IT セキュリティ チームの時間を節約すると同時に、ユーザーの耐性と組織のメール セキュリティ体制について価値ある分析を行うことができます。
図 2: プルーフポイントのメール警告タグが不審なメールを報告し、ユーザーによるメール報告の正確性を向上させ、メール セキュリティを強化する革新的な手段をお客様にご提供します。
このデータセットにはまだ含まれていませんが、プルーフポイントの、不審メールの報告機能付きメール警告タグと、これによる報告率と正確性の改善結果に関するデータを今後ご紹介していきます。この HTML ベースのバナーは、コンテキストに基づき、カスタマイズ可能で、IT 部門の負担もほとんど必要とすることなく、ユーザーによる不審なメッセージ発見をサポートします。
ユーザー行動の測定方法としての失格率と報告率
セキュリティ意識向上プログラムでのフィッシング シミュレーションは、ユーザー行動を理解する際に必ず使われる一般的なツールではありますが、シミュレーションの「クリック率」や「失格率」いずれかの指標だけでは、ユーザー行動の理想的な評価方法とはなりません。
失格率は、以下のように、テンプレート タイプに基づく最悪のシナリオとして定義されています。
- リンク形式のテンプレート: ユーザーがリンクをクリックする
- 添付ファイル形式のテンプレート: ユーザーが添付ファイルを開く
- データ入力/認証情報形式のテンプレート: ユーザーが認証情報を送信する
主な注意点: 失格率だけではユーザー行動を十分に評価できません。なぜでしょうか？
- テンプレートの種類によりクリック率が大きく異なる
- 失格率からは、「悪質なものを避ける」というユーザーの行動は見えるが、「望ましい行動をとっている」ことは示されない
- 指標の 1 つに過ぎず、ユーザー行動の全体像を表すものではない
プルーフポイントのフィッシング シミュレーション データでは、テンプレートにより失格率が大幅に変化することが分かっています。難易度の低いテンプレートでは、失格率は 1 桁代前半でしたが、たとえば、Netflix のテンプレートなどでは、実質的な失格率がほぼ 100% となるキャンペーンもありました。
図 3: Netflix フィッシング攻撃シミュレーション メール テンプレート
シミュレーションの報告率に関する情報を追加する方が、失格率だけを見るよりも、ユーザー行動の変化を理解するのには適しています。報告率は、ユーザーが「望ましい行動」をとっていて、組織の保護に役立っていることを示します。報告率が高くなるほど、ユーザーが本当に不審なメッセージを報告する確率が高くなり、被害が大きくなる前に IT セキュリティ チームが問題を解決できるようになります。
報告率と失格率から導き出されるもの: レジリエンス ファクター
では、失格率と報告率を組み合わせることで得られるものは何でしょうか。それは、レジリエンス ファクターと呼ばれるものです。図 4 は、顧客の平均レジリエンス ファクターを求めるためにプルーフポイントで使っている公式です。顧客平均は 1.2 となっています。
図 4: プルーフポイントの顧客の平均レジリエンス ファクター
プルーフポイントの顧客によるフィッシング シミュレーションの平均報告率は 13% でした。この割合は、フィッシング報告アドインを導入し、その使い方をユーザーに教育する組織が増えるに従い、年々改善されてきました。平均失格率 11% も同様で、前年からわずかながら減少しています。
レジリエンス ファクターは、プルーフポイントの数多くのお客様の例にあるように、劇的な改善が可能です。プルーフポイントでは、少し高めの目標として、レジリエンス ファクター 14 倍、または平均報告率 70% と失格率 5% 以下を目指すよう推奨しています。お客様には、両方の指標を使用することをお勧めしています。失格率はどこまでも下がるわけではなく (ゼロになることはまずありません)、またキャンペーンで的を絞り込んで難易度を上げると、失格率が大きく変化することがあるためです。
成績の優秀なお客様は、少し高めのレジリエンス ファクター 14 倍を達成できており、セキュリティ教育がユーザー行動を変化させるためにいかに有効であるかを示しています。レジリエンス ファクターが低い場合、行動を変化させるためには、時間と継続的なセキュリティ意識向上の取り組みが必要となることをご理解ください。
平均レジリエンス ファクターの計算にプルーフポイントが使用したデータセットは、報告された平均メッセージ数がユーザーあたり年間で 5 件を超えた程度だったことも示しています。この件数については、組織が教育イニシアチブを強化し、ユーザーによる不審なメッセージの報告が習慣化することで、今後大幅に増加していくと期待しています。
業界やテンプレートタイプごとの失格率と報告率の具体例
以下の表は、プルーフポイントがまとめた失格率と報告率、また前述の公式を使用して算出したレジリエンス ファクターを業種別に示したデータの概要です。報告率では金融サービス (Financial Services) がトップの成績を誇る業種であることがわかります (20%)。しかし、レジリエンス ファクターでは法律サービス (Legal) が一番の成績となっています (2.1)。
図 5: 業界別に細分化した失格率と報告率
また、テンプレートタイプ別の失格率と報告率の違いにも注目しました。
|
テンプレートタイプ |
平均報告率 |
平均失格率 |
平均レジリエンス比 |
|
添付ファイル |
18% |
20% |
.9 |
|
データ入力/認証情報 |
15% |
4% |
3.8 |
|
リンク |
13% |
12% |
1.1 |
ユーザーが最も多く報告したのは添付ファイル形式のテンプレートですが、プルーフポイントの分析では、このフィッシング シミュレーションの失格率もまた最も高い結果となっています。含まれるデータの内容 (新型コロナ接触データや従業員ボーナス番号など) に興味をそそられ、添付ファイルが開きたくなるものであると感じる一方で、一部のユーザーは警戒を強め、このようなタイプの添付ファイルの脅威を報告した可能性があります。
また、データ入力/認証情報のフィッシング シミュレーションのレジリエンス比が、他の 2 つのテンプレートタイプよりはるかに高かったこともわかっています。(データ入力/認証情報テンプレートには追加手順があることも重要なポイントです。フィッシング攻撃シミュレーション テストに失格したということは、リンクをクリックし、さらに認証情報を送信したことになります。)
報告率の分布
報告率の成績は、組織におけるセキュリティ意識向上の成熟度と、ユーザーがメール報告アドインやボタンを使用している期間に左右されます。そのため、従業員がほんの数か月ツールを使った段階で、組織が成績優秀なグループに入らなかったとしても、がっかりすることはありません。ユーザー行動を変化させ、セキュリティ意識の高い企業文化を作り上げるには時間がかかるのです。
図 6: Y 軸: お客様の数、X 軸: フィッシング報告率。このグラフは、お客様の大半が報告率の低いグループに分類されていることを示しています。ユーザー全体に対して報告アドインの認知や使用率が高まっていないことが原因です。しかし、この状況は変えることができます。
多くの組織が報告率の低いグループに分類されていますが、これが普通なのです。
百分位数で見たシミュレーションの平均報告率:
|
百分位数 |
シミュレーションのユーザー報告率 |
|
25% |
1.4% |
|
50% |
8.5% |
|
75% |
19.9% |
|
平均 |
13% |
|
最高成績 |
83.6% |
低い報告率については、次の共通点がよく見られます。
- 組織がメール報告アドインを単に導入しただけ
- ユーザーがメッセージを報告する手段が複数存在する (abuse mailbox アドレスなど)
- ユーザー教育でメール報告アドインの使い方を教えていない
- 身に覚えのないメッセージをユーザーが無意識的に削除または無視している
少しの教育でも、組織における報告率を改善するために大きな効果が期待できます。セキュリティ意識向上コミュニケーションでメッセージの送受信について扱う、セキュリティ トレーニング中にアドインの使い方を教える、またフィッシング攻撃シミュレーション メッセージを報告したユーザーにフィードバックを提供するなどの工夫により、報告率を改善し、成績優秀なグループに近づくことが可能になります。
他社に対するベンチマーク結果を理解する
新しく改善されたプルーフポイントの CISO ダッシュボードでは、フィッシング攻撃シミュレーション報告での組織の順位 (百分位数) を確認できます。これにより同業他社およびプルーフポイントの顧客である異業種他社に対するベンチマークの状況をリアルタイムで入手できます。また、情報セキュリティ最高責任者 (CISO) やその他のステークホルダーと簡単に共有できる重要なセキュリティ意識向上の指標も入手できます。
図 7：フィッシング報告のスコアと概要
現実に目を向ける: ユーザーが報告すべきものは他に何があるのか
ユーザーがフィッシング シミュレーションを報告すれば、組織にとって成功と言えます。それが練習の目的であるためです。とはいえ、ユーザーが本物のフィッシング メッセージを受信したらどうなるでしょうか。
次のブログ記事では、本物の悪意のあるメッセージの報告にユーザーがどれだけ効果を示すのか、また組織のセキュリティ体制改善にどれだけ役立つのかについて考えていきます。
※本ブログの情報は、英語による原文「Reporting Phishing Simulations: The Essential Metric to Measure in Phishing Awareness」の翻訳です。英語原文との間で内容の齟齬がある場合には、英語原文が優先します。