敵を知り己を知れば百戦危うからず：MITRE EngenuityのATT&CK®評価から学ぶ、EDRソリューション利用時におけるバランスのとれたアプローチの重要性
堅牢なサイバーセキュリティ防御を実現するためには、EDRによる信頼性の高い予防と保護テクノロジーが必要です。EDRの効果を最大限に発揮させるには、自社のネットワークを把握しセキュリティスタッフのスキルを成熟させる必要があります。
ESET Research 16 Dec 2021
MITRE Engenuityは、ATT&CK®評価プログラムの評価方法と結果の解釈について明確なガイダンスを公表しており、「競合比較分析にこの評価を用いるべきではない」、あるいは「評点や勝者は存在しない」と述べてます。しかしながら、評価に参加した一部のベンダーはすでに「競合を打ち負かしたと」主張し、得意気なマーケティング資料を発表しています。
このようにマーケティングで誇大広告をする動機は理解できないことはありませんが、これはATT&CK評価プログラムの本質から逸脱したものです。Forresterのアナリストは、「顧客を見失うMITRE ATT&CKの勝者」と題したブログでこの現象を説明しています。
今回のブログの目的は、ESETのEDR（Endpoint Detection & Response）ソリューションであるESET Enterprise Inspectorがどのように評価されたかについて、事実に基づいてその結果の概要を提供することです。また、MITRE Engenuityの評価を受けることはありませんでしたが、組織の全体的なセキュリティニーズを考える場合に有効となる可能性のある他のESETソリューションの特長や機能についてもこのブログで説明します。
詳細を説明する前にお伝えしておきたいことは、今回ESETの評価結果が芳しくないからこのブログを公開しているわけではありません。むしろ、攻撃のサブステップ（後述で詳しく解説する指標の1つ）を90%以上可視化できるESETは、参加したベンダーの中でも上位に位置します。この評価の趣旨については先に説明したとおりですので、ベンダー比較に関する記述はこの点のみとします。では、誇大広告ではない客観的な結果を見てみましょう。
評価方法
評価結果を正しく分析するためには、評価方法といくつかの重要な用語を理解することが重要です。MITRE Engenuityは、読みやすいブログ（特に最新ラウンドの評価について知らない方は、このブログから読まれることをお勧めします）や、結果を第三者が再現できるようにするソースコードが含まれるAdversary Emulation Plan Libraryといった、評価について非常に明確で詳細なドキュメントを提供しています。これらのドキュメントで詳細を参照できますので、このブログでは方法論の概要を簡単に解説します。
今回の評価では、APT（高度標的型攻撃）グループであるCarbanakとFIN7が一般的に使用している攻撃手法をシミュレーションしています。これらのAPTグループは、通常のAPTグループとは異なり、国家的なスパイ活動やサイバー空間での妨害行為ではなく、金銭的利益を主な目的としています。また、一般的なサイバー犯罪組織よりも洗練された手法を用いていることから、ESETでは「金融型APTグループ」と呼んでいます。
CarbanakとFIN7は、金融サービス機関、銀行、小売、レストラン、ホスピタリティ業界（また、業界で利用されているPOSシステム）を標的をしているため、これらの組織は今回の評価は特に関連性が高いでしょう。また、CarbanakとFIN7の典型的な標的ではない組織でも、この評価で使用されるエミュレートの手法の多くは、多数のAPTグループに共通しているため、EDRの有効性を実証する上で適切な情報を提供するものとなっています。
MITRE Engenuityでは、実際のAPT攻撃を模したシミュレーションを構築し、標的型攻撃の不正活動を検知するソリューションの能力をテストします。検出のシナリオは、ATT&CKフレームワークに記載されている、初期アクセスから水平移動、情報収集、データ窃取などの手法を網羅する20のステップ（Carbanakについて10ステップ、FIN7について10ステップ）で構成されています。これらのステップはさらに細分化され、合計162のサブステップ（Linuxに関連する評価にも参加しているベンダーは174個のサブステップ）に分かれています。MITRE Engenuityチームは、参加した各EDRソリューションの各サブステップに対する反応と可視化のレベルを記録しました。
結果は、ステップごとに5つの検出タイプ、NONE（なし）、Telemetry（テレメトリ）、General（一般）、Tactic（戦術）、Technique（技術）に分類されます。エミュレートされた攻撃の動作を確認したり（Telemetry（テレメトリ））、詳細な分析データを提供する（General（一般）、Tactic（戦術）、Technique（技術））ソリューションの機能に基づいてさまざまなメトリクスをまとめています。詳細は、MITRE Engenuityの検出のカテゴリに関するドキュメントを参照してください。
今年の評価ラウンドでは、従来とは異なり、テスト対象ソリューションの侵入後の検知・報告のみを行う能力を評価するだけでなく、攻撃の進行を防御する能力を評価する保護シナリオも設けられています。保護シナリオは、合計10個のテストケース（Carbanakが5個、FIN7が5個）から構成されています。
この記事の初めに説明したように、ATT&CK評価は、従来型のセキュリティソフトのテストとは異なり、スコアやランキング、レーティングなどがありません。その理由は、組織、セキュリティオペレーションセンター（SOC）チーム、セキュリティエンジニアの成熟度や準拠すべき規制がそれぞれ異なることに加えて、業界、企業、サイト固有の要件が数多く存在しているためです。そのため、ATT&CK評価で示されたすべてのベンダーの指標が、各組織で同じ重要度を持つわけではありません。
ATT&CK評価では考慮されなかったその他の重要な要素として、EDRの性能、リソース要件、ノイズの多さ（アラート疲れ ― ほぼ全ての製品が、テスト環境で記録されたすべてのアクションに対してアラートを生成することから、これらの多くの評価結果では誤検知、即ちノイズについて高いスコアになることがあります）、エンドポイントセキュリティソフトウェアとの統合、および使いやすさがあります。
ESETのEDRソリューションであるESET Enterprise Inspectorの結果を見ていきましょう。
ESETの評価結果
攻撃エミュレーションをさらに細分化したテストでは、ESET Enterprise Inspectorはエミュレーションの162のサブステップのうちの147のサブステップを検出しました（91%）。図4と5は、サブステップごとの検出タイプを示しています。
この結果が示すように、ESETのEDRソリューションは、攻撃の全段階を通じて、セキュリティが侵害されたシステムにおける攻撃者の行動を可視化して、防御側に有用な情報を提供します。
可視化は最も重要なメトリクスの1つで、可視化することで企業や組織が理解できるようにします。しかし、これだけが重要なメトリクスではありません。SOCアナリストの中には、後述するアラート戦略（評価プログラムには含まれません）の方が重要と考える人もいるでしょう。
また、攻撃者がシステム上で特定のアクションを実行した理由など、追加のコンテキストを提供する広範な検出結果が重要なメトリクスとなる場合もあります。上のグラフで3つの緑色（General（一般）、Tactic（戦術）、Technique（技術））に分類された結果は、Telemetry（テレメトリ）よりも詳細に脅威を捉えることができていることを示しています。ESET Enterprise Inspectorは93のサブステップ（57%）でこの追加情報を提供しています。
なお、ESETはLinuxに関連する評価には参加していないため、Linuxに関するサブステップは結果に「N/A（該当なし）」と表示されています。ESET Enterprise Inspectorは現在、WindowsおよびmacOSで利用できます（今回の評価ラウンドではmacOSの保護機能はテストされていません）、Linux向けのインテグレーションの提供は2021年後半以降に予定されています。
さらにESETは、攻撃の侵入・進行を防御する能力を評価するオプションの評価にも参加しました。10のテストシナリオのうち9つでESET Endpoint Securityが自動的に検出することができました。
100%のカバレッジをESETが達成できなかった理由
Linuxの検出については別として（今回の評価ラウンドが実施された時点では、ESETのEDRソリューションはLinuxに対応していませんでした。ESETのエコシステムには、Linux向けのエンドポイントプロテクション機能が含まれていますが、今回の評価の範囲外となっています）、ESET Enterprise Inspectorは162個あるサブステップのうちの15個を識別できませんでした。これらの「識別ミス」は、2つのカテゴリに分類されます。
- ダッシュボードに表示されるノイズを軽減するため、特定のデータソースの一部のイベントの報告が意図的に無効にされている。
- 実装されていない検出機能があり可視化できない。（今後のバージョンで追加予定）。
実装していない検出機能には、Pass the Hash攻撃（サブステップ5.C.1）、プロキシへのC&C接続（サブステップ19.A.3）、追加のAPIの監視（サブステップ4.A.1、9.A.2、9.A.4、9.A.5など）などがあります。ESETは後者の検出機能に高い優先度を設定しており、ESET Enterprise Inspectorの次のリリースでこれらの検出機能を追加する予定です。
いくつかのAPI監視機能の実装を見送ったのは、システム内のAPIコール数が膨大であり、全てを監視することは不可能であり、かつ適切でないからです。全てを監視するのではなく、SOCアナリストにとって有用な情報だけを厳選し、不要なノイズを出さないようにすることが重要です。
2つ目のカテゴリの例には、ファイルの読み取り操作（たとえば、サブステップ2.B.5、9.A.5、および20.B.5の一部）があります。繰り返しになりますが、システムには膨大な数のこのような操作が存在するため、すべての操作をログに記録することは、リソースを膨大に消費するため現実的ではありません。ESETでは、代わりに、より効率的な方法を選択しています。重要なキーファイル（たとえば、ブラウザのログイン認証情報を保存したファイル）のファイル読み取り操作 を監視し、同時に関連するプロセスのネットワークトラフィックも監視します。
効果的なEDRソリューションを設計するときの重要な原則は、バランスです（これはエンドポイントセキュリティソフトウェアにも当てはまります）。理論的には、100%の検出率を達成するソリューションを作るのは簡単です。もちろん、このようなソリューションはほとんど役に立たず、従来のエンドポイントプロテクションテストに誤検知のメトリクスが常に含まれており、誤検知のテストなしには真の比較テストにならないのはこの理由のためです。
EDRの場合、エンドポイントプロテクションとは少し状況が異なりますが（アラートを発行せずに監視や検出ができるため）、原理は同じです。検出数が多すぎるとノイズが多くなり、アラート疲れが発生しやすくなります。これにより、SOCアナリストは、大量の検出結果とアラートを選別しなければならなくなり、負荷が増大します。本当に重要度の高いアラートに対応することができなくなり、望ましい効果が得られなくなる恐れがあります。作業量が増えるだけでなく、重要度の低い検出結果があまりにも多くなると、パフォーマンスやデータストレージ要件が増大し、コストも増加します。
[1] 注：ここでは、特に最も数の多いファイルの読み取り操作について述べています。ESET Enterprise Inspectorでは、ファイルの読み取り操作に加えて、ファイルの書き込み、名前の変更、削除など、ファイルシステムの重要な操作を可視化できますが、これらの操作の数が多くないため、監視するファイルについての制限は少なくなっています。
とはいえ、EDRソリューションにとって優れた可視化は重要な指標です（ESETの評価結果は90%以上）が、唯一の重要なメトリクスではありません。
ESET Enterprise Inspectorのアラート戦略
ESETは、優れたEDRソリューションの目的、そして最も重要な機能は、進行中の攻撃を検知、攻撃に対応できるようにし、事後調査を支援する能力だと考えています。
先に説明したように、効果のないEDRソリューションの課題の1つはアラート疲れです。効果的なEDRソリューションであれば、前述したように、データソースに優先順位を設定することに加えて優れたアラート戦略を提供し、この課題に対処できます。言い換えれば、EDRソリューションは、SOCアナリストが攻撃を示している可能性がある指標に集中できるように、システムのすべての監視アクティビティを提示できなければなりません。
ベンダーは、それぞれ独自のアラート戦略を取り入れています。これらの戦略を一様に比較することは難しいため、これは重要な要素でありながらも直接的な評価対象にはなりませんでした。代わりに、MITREは各ベンダーの評価結果の概要セクションにアラート戦略をまとめています。
ESET Enterprise Inspectorのアラート戦略は、MITRE Engenuityにより次のように説明されています。「イベントは、悪意のある行動を分析するロジックに当てはめられ、深刻度（通知、警告、脅威）が適切に割り当てられます。アラートされたイベントは、説明が追加されたり、関連するATT&CKのTactic（戦術）やTechnique（技術）がマッピングされたりする場合があり、コンテキスト情報が追加されて補完されます。また、アラートされたイベントは、集約して表示され、システムイベント/データの他の表示の一部に含まれる場合は（特定のアイコンと色で）強調して表示されます。」
図 6に、サブステップ8.A.3のエミュレーション後に発生したアラートの詳細画面を例として示します。
このステップでは、攻撃者はHTTPSのリバースシェルを介してターゲットへの秘密の通信経路を設定しようとします。
ESET Enterprise Inspectorは、このSSLトンネルの作成を検出し、プロトコルの不一致や標準以外のポート使用の詳細、実行チェーンやプロセスツリーなど、SOCアナリストにとって有用な追加のコンテキスト情報を収集し、不審なイベント、あるいは明らかに悪意のあると考えられる関連イベントを強調表示しています。
観測された振る舞いに関する説明は、MITRE ATT&CKのナレッジベースへのリンクや、悪意ある操作または正規の操作を問わず、これらのタイプの振る舞いが生じる一般的な原因と共に提供されます。これは、悪意のある操作にも利用されることのあるイベントが組織の特定の内部プロセスで正当な目的で使用されているような不明確なケースでは、SOCアナリストが調査して区別する必要があるため、特に有効となります。
さらに推奨される処置も提供されます。プロセスの終了やホストの隔離などの処置によって脅威の影響を軽減するためのツールも提供されます。これらの処置は、ESET Enterprise Inspector内で実行できます。
Carbanakエミュレーションシナリオの最後のサブステップ（10.B.1）では、攻撃者はVNCを介して標的のデスクトップにアクセスします。ここでも、この通信はESET Enterprise Inspectorに明確に表示され、不審な処理としてフラグが立てられ、関連するすべての詳細情報が提供されています（上図7を参照）。プロトコルは、ネットワークトラフィックコンテンツの分析を基準として特定されます。つまり、標準以外のネットワークポートが使用されていてもプロトコルが特定され、送信プロセスが難読化されていたり、偽装のための技術が採用された場合も、ESET Enterprise Inspectorが対応するルールがトリガーされます。
繰り返しになりますが、優れたEDRソリューションの目的と本来の役割は、必ずしも、攻撃中に実行されたすべての手順（またはATT&CK評価のサブステップ）をアナリストに警告することではなく、攻撃が実行された（または進行中である）ことを警告し、その後、自社環境でいつ何が起こったかを、詳細かつ論理的に構成された証拠を可視化する機能を提供し、調査を支援することにあります。これは、ESET Enterprise Inspectorの開発において、ESETが非常に重要視している機能です。
結論
厳格なMITRE ATT&CK評価により、ESETのEDRテクノロジーの品質が実証され、ESET Enterprise Inspectorの今後のビジョンとロードマップが検証されたことは喜ばしいことです。
優れたEDRソリューションの開発は、一過性のものではないことを常に認識しておかなければなりません。攻撃者が悪用する手法が変化および向上しているのと同様に、EDRとエンドポイントプロテクションプラットフォームも、実環境で進化する脅威から組織を継続的に保護するために進化しなければなりません。
ESET Enterprise Inspectorは、実環境における脅威の調査や研究と、密に連携させながら開発されたEDRソリューションです。世界で最も危険なAPTグループやサイバー犯罪者を追跡しているESETの専門家が、ESET Enterprise Inspectorのルールの有効性を検証し、標的となるシステムにおける悪意のある活動を検出できるようにしています。
ESET Enterprise Inspectorは、ESETの包括的なサイバーセキュリティポートフォリオに含まれる製品の1つであり、極めてバランスに優れた方法で信頼性の高い保護を提供します。ESET Enterprise Inspectorは、ESETの多層防御のセキュリティエコシステムの重要な一翼を担っています。このエコシステムには、強固で正確なエンドポイントセキュリティ、クラウドサンドボックス（ESET Dynamic Threat Defense）、機械学習ベースの検出テクノロジー、LiveGrid®テレメトリと数百万台のエンドポイントのユーザーベースから収集される脅威情報（特に、この集約データを利用して、ESET Enterprise Inspectorはバイナリやプロセスのレピュテーションを判断基準にすることができます）が含まれます。
ESETは、セキュリティソリューションを包括的に提供するアプローチが最も重要と考えています。これは、ネットワークで実行された攻撃を可視化することも重要ですが、それ以上に、無数のイベントの中から攻撃を発見および特定し、さらに攻撃を未然に防ぐことがさらに重要であるからです。
皆さまも、自社のニーズ、要件、および環境を踏まえて、公開されているATT&CK評価の結果やその他のリソースを活用してください。
