NOTA: As visões e opiniões expressas neste post do blog são da ESET e não refletem necessariamente as visões ou posições da MITRE Corporation.
O verdadeiro tesouro oculto na mais recente Avaliação Empresarial do MITRE ATT&CK® está nos resumos e nas análises aprofundadas de dados, e não nas manchetes de fornecedores com forte viés comercial, sob pressão para “vender” Detection & Response. Como resultado, até leitores mais atentos podem acabar perdendo a visão do todo, enxergando apenas desempenhos individuais e pontuações ainda não totalmente interpretadas como a única métrica representativa de sua eficácia. No entanto, as avaliações e os resumos do MITRE foram criados exatamente para serem analisados em profundidade e é aí que reside seu verdadeiro valor.
Neste ano, o MITRE colocou os fornecedores à prova em duas emulações de adversários. A primeira, Demeter (aparentemente o Scattered Spider), teve como foco um adversário de alto ritmo, conhecido por suas técnicas de engenharia social. A segunda, Hermes (provavelmente o Mustang Panda, um suspeito recorrente nos relatórios de APT da ESET), emulou um grupo de ciberespionagem patrocinado por um Estado, com capacidades em rápida evolução. Esses dois cenários testaram a expertise dos fornecedores participantes e serviram como uma excelente demonstração de como cada produto avaliado oferece suporte às atividades dos analistas.
A ESET teve um bom desempenho neste ano, mas as avaliações têm como objetivo ampliar o entendimento de usuários de EDR e XDR, e não distribuir medalhas. Após cinco anos de participação nas avaliações, sabemos que os resultados representam um volume massivo de dados e insights, cuja análise é desafiadora até mesmo para especialistas experientes. Temos algumas sugestões sobre como filtrar o excesso de informações e chegar ao que realmente importa, caso você esteja utilizando ou avaliando a adoção de uma solução de EDR ou XDR.
Pontos principais deste artigo:
- A ESET teve um bom desempenho em ambos os cenários de emulação testados, e nossa pontuação de 100% em proteção destaca a relevância da nossa abordagem prevention-first. No teste, empatamos em primeiro lugar entre os nove fornecedores participantes ao bloquear rapidamente os ataques já em seus estágios iniciais.
- Ao priorizar baixo nível de ruído e um volume adequado para o ponto crítico de análise do analista, o ESET PROTECT apresentou os tempos de detecção mais rápidos em ambas as emulações de ataque, com uma pontuação de detecção de 66,67%.
- O valor da avaliação do MITRE está no fato de os resultados servirem como uma orientação imparcial para analistas de segurança, desafiando sua compreensão sobre um fornecedor e suas plataformas de detecção e resposta.
- Para os fornecedores, suas soluções são profissionalmente validadas frente a ameaças contemporâneas por meio de ataques emulados.
- O resultado coletivo é uma melhor compreensão dos conjuntos de ferramentas dos analistas usados para interpretar o cenário de ameaças, especialmente as TTPs.
- As avaliações, acima de tudo, demonstram como diferentes abordagens dos fornecedores podem ajudar uma organização a aprimorar a resiliência cibernética, considerando todas as soluções testadas na avaliação do MITRE, como EDR/XDR, sandboxing ou visibilidade de rede.
O que é o MITRE ATT&CK® Evaluations Enterprise 2025?
Não faltam informações sobre as Táticas, Técnicas e Procedimentos (TTPs) dos agentes de ameaça. O papel dos analistas é combinar esse conhecimento com sua própria experiência e utilizar as ferramentas disponíveis. Essas ferramentas incluem uma plataforma central de inteligência, soluções de EDR/XDR, SIEM/SOAR, entre outras.
No entanto, há mais de uma forma de abordar a proteção, e cada solução de segurança de endpoint executa sua função de maneira diferente. Cada fornecedor adota métodos e abordagens próprios para apresentar sua telemetria e detecções, o que exige um certo tempo para que os analistas encontrem a solução mais adequada, se envolvam com ela e, então, integrem seu conhecimento desse ambiente específico aos benefícios desejados daquele conjunto de ferramentas.
É justamente esse o desafio que as Avaliações do MITRE ATT&CK se propõem a resolver: mapear, com o máximo de transparência possível, como as ferramentas de EDR/XDR lidam com cenários maliciosos e representam as capacidades e limitações de cada fornecedor participante. Não existe uma única forma “correta” de analisar uma ameaça, tudo depende da adequação da ferramenta às necessidades do analista.
2025 é um ano de mudanças para o MITRE
Neste ano, o formato se baseou nas mudanças significativas introduzidas em 2024, mantendo também o teste separado de proteção.
Isso é relevante porque, embora qualquer ferramenta de EDR consiga realizar detecções, o que realmente importa é o conteúdo dessas detecções e alertas. De fato, a visibilidade de detecção foi testada de forma aprofundada ao permitir que os adversários executassem comportamentos sem interrupção. Isso desafiou os participantes a correlacionar suas detecções com a base de conhecimento do MITRE ATT&CK, uma abordagem que deve refletir o cenário contemporâneo de ameaças e as funções básicas sobre as quais todas as soluções de EDR/XDR operam.
A questão que se coloca é se o teste deixa de contemplar a telemetria exclusiva do mundo real utilizada por soluções individuais.
A Avaliação do MITRE desempenha um papel fundamental no mercado de cibersegurança, atuando como um selo de qualidade e um padrão da indústria. Muitas empresas e contratantes utilizam essas avaliações para analisar fornecedores, o que faz com que participantes relutantes acabem perdendo grandes oportunidades de negócio devido à ausência de uma “certificação” percebida.
A avaliação de proteção desafiou a eficácia dos mecanismos de bloqueio e, em última análise, assim como na abordagem prevention-first da ESET, a capacidade de interromper ataques antes que eles pudessem causar danos significativos. Para isso, todos os mecanismos de proteção foram ativados, exigindo que os participantes demonstrassem sua capacidade de detecção e prevenção em tempo real contra ataques maliciosos avançados antes que estes atingissem pontos críticos da cadeia de ataque.
O desafio de detecção também se diferenciou pela inclusão de uma mudança de configuração, permitindo que os participantes ajustassem seus produtos após a primeira execução. Os SOCs reconfiguram continuamente seus ambientes para se adaptar a um cenário de ameaças em constante evolução e, portanto, testar se os fornecedores oferecem a opção de realizar e validar alterações de configuração de forma simples tem como objetivo refletir essa realidade.
Interpretando o desempenho da ESET: orientação, não competição
Voltando à análise aprofundada mencionada no início. Por um lado, a ESET pode afirmar que a pontuação de proteção do ESET PROTECT foi de 100%, o melhor resultado possível, ou que sua taxa de detecção ofereceu uma visibilidade significativa. No entanto, para um analista em atividade, os números por si só podem não fornecer todo o contexto ou os insights necessários. Por outro lado, outro fornecedor poderia afirmar que obteve uma pontuação de detecção ainda maior… mas isso também não conta a história completa.
Esse é um dos motivos pelos quais a ESET coloca tanta ênfase na prevenção, fortemente dependente de detecções, e também por que é curioso que, desde a introdução da medição de proteção em 2024, apenas cerca de dois terços dos participantes do MITRE geralmente optem por participar dessa etapa da avaliação. Ao bloquear automaticamente ataques como os utilizados no cenário de proteção, o produto libera as equipes de segurança para se concentrarem em tarefas estratégicas que fortalecem ainda mais a resiliência cibernética.
Por outro lado, alguns analistas ficam excessivamente focados no desempenho de detecção. É possível ter uma pontuação de detecção de 100% (a da ESET é 66,67%), mas toda essa telemetria é realmente relevante ou equivalente?
Não. Nos testes, determinadas TTPs possuem maior severidade e, portanto, exercem um peso e impacto maiores na pontuação de detecção. Após cinco anos de participação nas avaliações, os engenheiros do ESET PROTECT optaram por não buscar uma cobertura total da base de conhecimento do ATT&CK. O motivo? Alcançar 100% de rotulagem do modus operandi de um adversário em relação à base do ATT&CK não melhora, por si só, as defesas nem auxilia automaticamente os analistas de segurança em suas atividades diárias.
O que realmente importa é manter um volume baixo, mas ainda assim significativo. Detecção e resposta exigem apenas cobertura suficiente das técnicas mais prevalentes ou mais severas (ou de suas subetapas) para cumprir seu papel. Qualquer coisa além disso corre o risco de sobrecarregar os analistas. Deixar de detectar técnicas de baixa prevalência ou baixa severidade não se traduz necessariamente em menor proteção. Pelo contrário: pode significar que o trabalho é mais eficiente e a remediação ocorre mais rapidamente, pois as etapas principais necessárias para identificar o ataque são destacadas de forma imediata, permitindo que uma resposta adequada e no tempo certo seja acionada em alguns casos, inclusive com o bloqueio automático da ameaça detectada.
Durante os testes de 2025, o ESET PROTECT preencheu automaticamente seus incidentes detectados com detecções relevantes, com alertas que continham as atividades adversárias mais significativas dentro da rede simulada. Isso resultou em um desempenho altamente correlacionado e com baixo volume por cenário (apenas um incidente no cenário Hermes), o que representa um grande benefício para qualquer analista que precise focar apenas no que realmente importa, reduzindo o ruído.
Sim, o MITRE testa esses aspectos. Um dos motivos pelos quais os fornecedores participam é a possibilidade de usar o conhecimento obtido para aprimorar seus mecanismos de detecção. No entanto, para um analista de cibersegurança sob pressão para interromper um ataque em andamento, o foco não está nos detalhes mínimos. Em vez disso, ele precisa de alertas claros e inequívocos, geralmente representados pelas detecções mais severas e relevantes, organizadas por sua solução de XDR (preferencialmente de forma automática) para orientar as próximas ações.
Vencendo a batalha, perdendo a guerra
Não faltarão participantes alegando ter “vencido” a mais recente Avaliação do MITRE.
“O MITRE nunca foi sobre vencedores e perdedores”, afirma Juraj Malcho, Chief Technology Officer da ESET. “O discurso de marketing pode proclamar uma vitória, mas, na prática, você pode ter perdido no mundo real, aquele enfrentado diariamente pelos analistas de segurança. Eles não precisam registrar todos os eventos que acontecem em seus sistemas. Estejam ou não mapeados para a base de conhecimento do ATT&CK, já existe ruído suficiente para lidar. O que realmente importa são correlações precisas de detecções e a sinalização de atividades suspeitas para investigação adicional.”
Outro ponto a ser considerado na avaliação de qualquer fornecedor é um bom desempenho na criação da lógica de detecção, ou seja, na (re)configuração. A flexibilidade do ESET PROTECT nesse aspecto ajudou a garantir uma boa cobertura de pontos cegos relevantes após a execução inicial de cada cenário, graças à possibilidade de reconfigurar a lógica de detecção da solução, indo além da linha de base artificial inicialmente presumida pelo fornecedor. No mundo real, isso permite que os analistas adaptem a lógica do ESET PROTECT às necessidades do seu ambiente, moldando-a para enfrentar ameaças específicas de cada setor.
Use as ferramentas do MITRE para fazer sua própria avaliação
Felizmente, o site do MITRE oferece uma visão abrangente de cada cenário e das etapas envolvidas (como execução pelo usuário) e subetapas (como um link malicioso), além de contar com imagens coletadas das interfaces e experiências de uso (UX) das soluções dos fornecedores. Esses materiais mostram como as informações são apresentadas aos analistas, incluindo a forma como as detecções são correlacionadas à base de conhecimento do ATT&CK, os diversos modificadores e os recursos que permitem comparar fornecedores diretamente em uma única visualização.
A ESET recomenda que os leitores acessem a página do MITRE ATT&CK® Evaluations Enterprise 2025 e interpretem os testes de cada fornecedor participante como uma orientação, não apenas para questionar suas próprias premissas, mas também para confirmar o valor oferecido por cada um.
Seja proativo, não reativo
Pergunta: a ESET deveria afirmar que os resultados do MITRE deste ano foram tão bons a ponto de superar os demais participantes? Não. Esse não é o objetivo das Avaliações.
O MITRE ATT&CK Enterprise Evaluations não é apenas mais um teste, mas uma série de avaliações projetadas para revelar insights granulares que orientam o entendimento de engenheiros, equipes de P&D de produto, CISOs e outros profissionais. O MITRE incentiva os fornecedores a aprimorar suas ferramentas, de forma semelhante a um escritor que busca novas perspectivas sobre um tema familiar ou a um especialista em monitoramento que integra um novo feed de outro provedor à sua plataforma de inteligência. A avaliação é voltada aos analistas de cibersegurança que utilizam EDR, XDR e soluções semelhantes para proteger suas organizações. Ela é especialmente útil para quem busca moldar ou remodelar o conjunto de ferramentas disponível para atividades de detecção e resposta.
Se você deseja desafiar sua própria compreensão sobre os fornecedores de cibersegurança e os testes do MITRE, vale a pena conferir a página de resultados. Mas lembre-se: trata-se de gerar insights, não de competir.