ESETはAV-ComparativesによるEPRテストで優れた結果を収め、ESETのXDRが組み込まれた製品とサービスのROI（投資利益率）の高さを実証しました。今回の結果から、エンタープライズ向け製品のMITRE Engenuity ATT&CK® Evaluationsの第5ラウンドでのESETの結果の真の意味も見えてきます。
James Shepperd and Rene Holt 7 Nov 2023
ESETは、AV-ComparativesによるEPRテストで優れた結果を収め、ESETのXDRが組み込まれた製品とサービスのROI（投資利益率）の高さを実証しました。今回のEPRテストの結果から、エンタープライズ向け製品に関するMITRE Engenuity ATT&CK® Evaluationsの第5ラウンドでのESETの結果の真の意味も見えてきます。
AV-Comparativesが最近公開した『Endpoint Prevention and Response (EPR) Comparative Report 2023』（エンドポイントの予防と対応機能の比較レポート2023年）で、ESET PROTECT Enterpriseバージョン10.1がEPR CyberRisk Quadrant™において高スコアを獲得しました。ESETは、最高の検出率を実証し、予防と対応の能力のランキングでもトップとなり、「戦略的リーダー（Strategic Leader）」に選出されました。今回のテストで戦略的リーダーに選定されたベンダーはESETの他に3社しかありません。
2023年エンタープライズ向け製品に関するMITRE Engenuity ATT&CK® Evaluationsの結果をご存知のパートナーや営業担当者には、今回のAV-ComparativesのEPRテストにおけるESETの結果は、ATT&CK® Evaluationsのサブステップに対するESET製品の可視化レベルの結果とは対照的に映るかもしれません。テストを実施する担当者、ベンダー、エンドユーザー、それぞれの立場から見るテストの意味は異なるのかもしれませんが、数学は共通の言語であり、すべてのテスト結果を参照するときにはその背景を理解しなければなりません。
APT攻撃を中心とするテストシナリオを提供しているMITRE Engenuityのテスト担当者は、サイバー攻撃チェーン全体の保護および検出機能を検証するときに、少なくとも他のテストと容易に比較できるような、パフォーマンスランキングや比較テストを作成していないとESETは考えています。そして、ATT&CK Evaluationsを見た後にAV-ComparativesのEPRテストを参照するときには、注意すべきポイントが異なることを理解しなければなりません。つまり、実環境の状況をシミュレートすることの意味や、テストの対象者が異なっていることを理解することが重要です。例えば、EPRテストの場合にはエンドユーザーと参加するベンダーのテストの対象が異なっています。
ここで説明する2つのテストは、それぞれテスト結果を利用する特定の対象者を想定しています。AV-Comparativesは、まず、ベンダーの製品に求められる能力を評価するためにEPRテストを構築しています。そして、最も重要なことは、実環境での製品パフォーマンスを最大限に再現する手法を利用して、標準的で一貫性のある結果にレポート購入者が透明性をもってアクセスできるようにしています。購入者へのサービスの一環として、第三者テスト機関は通常、生データ（ローデータ）を独自に分析した結果を提供しています。AV-ComparativesのEPRレポートでもこの結果が提供されています。
一方、MITRE Engenuityは、ATT&CK評価ではベンダーのパフォーマンス比較分析は行っていません。実際に、MITRE Engenuityは以下のように述べています。
「これらの評価は、製品の競争力を分析したものではありません。製品の優越を明らかにするものではなく、観測された検出結果を示しています。各社のソリューションを分析、ランク付け、または評価する唯一の方法はありません。代わりにMITRE Engenuityは、ATT&CKのコンテキストの中で各ベンダーの脅威を防ぐためのアプローチを示しています。」
この声明は、ATT&CK評価がベンダー比較ランキングではなく、第一にベンダーのための、第二に組織のセキュリティ担当者のための情報源であり、各ベンダーや組織は提供される生データをセキュリティを向上するために活用すべきものであることを明確に示しています。
別の言い方をすれば、第三者機関によるテストは製品であると同時にサービスであり、ベンダーとエンドユーザー企業の両方に、製品の研究開発やビジネスコスト、実環境でのパフォーマンスについて十分な情報をもとに判断するための情報を提供しています。
もう1つの重要なポイントは、誰がこれらのテストに参加しているかです。エンタープライズ向け製品に関するMITRE Engenuity ATT&CK® Evaluationsの2023年のラウンドでは、サイバー攻撃グループの「Turla」の手法に基づいて構築された2つの攻撃シナリオを使用して、29社のベンダー （※1）がテストされました。ATT&CK®評価テストの最終的な目的は、各ベンダーの脅威の検出と保護に対するアプローチを検証し、最適化できるように支援することです。そのため、評価テストにおける特定のサブステップを検出できた、また検出できなかった理由も提供されています。
一方、2023年のAV-ComparativesのEPRテストは、非常に包括的なアプローチによって12社のベンダーを評価しています。このテストでは、ATT&CKのナレッジベースにマッピングされたさまざまな攻撃手法を使用した50の標的型攻撃のシナリオが展開されています。これらのシナリオは、テストに先立ってベンダーに通知されることはありませんでした。これも、AV-ComparativesのアプローチとMITRE Engenuityのアプローチをさらに対照的にしています。そしてEPR CyberRisk Quadrantでは、セキュリティ侵害の予防に対する製品の有効性、計算される節約額、購入額、運用の精度、およびワークフローの遅延コストを考慮してテスト対象製品を評価しています。
AV-Comparativesのアプローチには非常に高い価値があるにもかかわらず、これまでにテストに参加した数社のベンダーは企業名を非公開にしています。さらに、ATT&CK評価に参加したベンダーの多くはEPRテストへの参加を見送っています。XDR製品を検討されているエンドユーザーは、テストを受けていないベンダー製品のコストに当然疑問を持ち、これらのコストに関わる問題がATT&CK評価で示された検出能力の価値を低下させる可能性があるかもしれないと考えることになるでしょう。
ESETは、自社製品の機能を開発するとき、過去のATT&CK評価における自社製品のパフォーマンスを確認していますが、「100%の検出率や防御」と主張する場合には、その背後に多くの「誤検知」が潜んでいると考えています。ESET PROTECT Enterpriseは、今回のAV-Comparativesのテストにおいて一度も誤検知が発生しませんでした。ESETは、この検出精度の高さについては誇りに感じています。実際、誤検知が多ければITスタッフが対処する時間も多くなり、実際のコストを押し上げることになります。時には、これらの対応のコストが、セキュリティ侵害のコストを上回る場合もあります。
AV-ComparativesのEPRテストに参加することは、ITセキュリティの意思決定者にESET製品の価値を伝えるために重要です。彼らのような意思決定者は、各種の製品の能力を簡単に把握できることから、EPR CyberRisk Quadrantのような評価手法を好んで参照する傾向にあります。CISOの思考を読み解くと、「最高の検出と保護能力を備えた製品が欲しいが、CFOからプレッシャーを受けているコスト面についても熟慮しなければならない」といったところでしょう。
AV-ComparativesのEPR CyberRisk Quadrantは、企業がXDRソリューションを評価し、テクノロジーや実装に関する詳細について検討する前段階として、予防能力とTCOに関する指標に基づいて候補を絞り込むときに最適なリソースとなります。
AV-Comparativesは実環境と同じ手法を採用しその結果を分析しているのに対し、MITRE Engenuityはエミュレーション計画を提供し、結果として生データを提供します。自社に十分なリソースがあり、スキルの高いITスタッフがいれば、ATT&CK評価またはそのサブステップを自社のネットワークで再現し、さまざまなソリューションの実際の効果とコストについて、実環境に即した有用なフィードバックを得ることができます。
しかし、このようにリソースを費やし自社環境に合わせてATT&CK評価を実行しない限りは、ATT&CK評価は、購入する製品を判断するための情報源としては適当ではないとESETは考えています。ATT&CK評価が目指しているのは、セキュリティの専門家に、製品が提供しているサブステップの可視化の詳細を把握するためのリソースを提供することです。各製品の可視化レベルが高いほどエンドユーザーにとって利益があるかどうかは議論の余地が大きく残されています。ESETでは、顧客にとっては100%の可視化は不要であり、顧客がすべてのサブステップの攻撃手法を検出する方法を把握する必要もないと考えています。重要なことは、攻撃が実際に発生しているかどうかを判断し、攻撃を阻止または緩和ために、関連するサブステップで判断するに十分な可視化が提供されているかどうかです。すべてのサブステップにおいて、すべて同じレベルの可視化の詳細が求められるわけではありません。
ATT&CK評価の価値を最大限に活用するには、すべての顧客がエミュレーション計画を詳細に理解し、各サブステップと自社にとってのサブステップの意味を慎重に検討しなければなりません。重要なことは、攻撃者が利用する手法、攻撃チェーンを再構築するときの課題、そして自社環境におけるイベントの性質を深く理解することで、より優れた分析が可能になることです。ATT&CK評価を正しく解釈および理解するためには専門知識が求められることから、組織のマネジメント層や意思決定者などのITセキュリティ担当者以外には扱い難い情報かもしれません。
AV-Comparativesは、市販の攻撃ツールやオープンソースの攻撃ツール、MITRE ATT&CKのナレッジベースから収集した戦術、技術・手法、手順（TTP）などを取り入れて、実環境の攻撃に最も近いテストを実行しています。実際の攻撃に対する、エンドポイントにおける保護、検出、および対応能力の評価を求めている企業や組織にとって、有用なテストになっています。
AV-Comparativesは、攻撃チェーン全体にわたる保護と検出機能以外についても製品のパフォーマンスを定量化するアプローチを採用しています。誤検知がもたらす負の影響についても考慮された結果で製品を比較することが可能になります。
特筆すべき例をあげると、Turlaによる攻撃手法が使用された最新のATT&CK評価では、誤検知によるアラートが発生した場合もペナルティが課されることはありません。参加ベンダーの1社は、アタックチェーンごとに100万件以上のアラートを発生させていました。また、別のベンダーのダッシュボードでは、攻撃が疑われるイベントとして約670万件が表示されています。一方、ESET Inspectでは、1日目の評価では約6,000件、2日目の評価では約2,000件の検出結果（エンドポイントおよびルールベースの検出結果を含む）が表示されました。MITRE Engenuityのテスト環境はわずか4～5台のマシンで構成されており、AV-Comparativesのように「実環境に沿った一連のシナリオ」を使用して製品をテストしているわけではありません。
セキュリティベンダーとして、MITRE Engenuity ATT&CK EvaluationsとAV-ComparativesのEPRテストの両方に参加し続けるのには、明確な理由があります。EPRテストは、技術者とビジネス部門の両方を対象としており、ATT&CK評価は、主に技術部門の担当者を対象としています。
それぞれ目的が異なっており、それぞれに利点があります。ESETのマルウェアリサーチャーやセキュリティアナリストは、ATT&CKのナレッジベースに対して深く関わることで、ESETのEPP、EDR、脅威インテリジェンス製品を向上でき、製品の研究開発を長年にわたって推進することが可能になっています。ESETは早くからMITRE ATT&CKのナレッジべースに貢献しており、現在ではATT&CKナレッジベースに貢献した350社のトップ10にランクインしています。このように、ATT&CK評価に参加することで、さまざまなチーム間で重要な対話を続けることができ、ATT&CKの技術・手法や手順の可視化と有用性のバランスをとることが可能になります。
MITRE Engenuityと関わることがESET製品の向上に役立っている一方で、AV-ComparativesのEPRテストへの参加は、ユーザーを中心とした実環境のニーズを把握し、製品に取り入れるために役立ちます。ESETは両方のテストを活用していますが、どちらのテストにも大きな利点があり、その利点はそれぞれまったく異なります。
意思決定者は予防と対応に優れているだけではなく、総所有コスト（TCO）でも競争力のある製品を求めています。そのため、ESETはAV-ComparativesのEPRレポートは意思決定者にとって重要な情報源になると考えています。
MITRE Engenuity ATT&CK評価の結果と、AV-ComparativesのEPRレポートは全く性質が異なります。SOCチームや熟練したセキュリティスタッフを社内に抱えている企業や機関の読者の方は、ATT&CKのナレッジベースを活用し、ATT&CK評価の詳細を確認されることをお勧めします。ESETはセキュリティベンダーとして、革新的、実験的、そして絶え間ない改善の機会をもたらす重要な情報源として、ATT&CK評価に高い価値を見出しています。
