Zararlı yazılım testlerinin bazı standartlara ihtiyacı var ve test uzmanları bir an önce uygulamaya geçmeliler.
Çocuklarınızdan birinin bir lise öğrencisi olduğunu ve üniversite veya kolej giriş sınavlarına hazırlandığını düşünün. Sınavların yıl içinde bir günde olacağını biliyorsunuz, sınavın neler içerebileceği hakkında bir fikriniz var ve daha fazla ayrıntı için sabırla bekliyorsunuz. Çocuğunuz sınavın içeriğini tam olarak bilmeden gayretle çalışır ve hazırlanır.
Son anda, öğrenciniz gayri resmi olarak sınavın gününün belirlendiğini duyar ancak başka ayrıntı yoktur. Stresli ve üzgün, öğrenciniz sınava dahil olur.
Fakat sınavdan sonra bazı öğrencilere sınavın içeriği ile ilgili bildirimler ve detaylar gönderildiğini öğrenirsiniz: Ayrıca sınava bazı yardımcı ekipmanlarla birlikte girmelerine de izin verilmiştir. Üstelik bu "bazı" öğrencilere sınav sonrasında sonuçlarını gözden geçirme ve yanlış yaptıkları soruları telafi etme imkânı sunulur.
Eminiz ki sinirleriniz bozulur, öfkelenir ve çocuğunuzun dahil edildiği bu adil olmayan sisteme itiraz edersiniz. Çocuklarınızın bu şekilde elde edilmiş sonuçlar ile bir üniversite veya koleje girmesi ne kadar adil olur?
Zararlı yazılım engelleme endüstrisi ve sanal suçluların sisteme zarar verme teşebbüslerini tespit etme yeteneği, genellikle endüstrinin dışından bakan insanlara kara kutu gibi görünebilir. Ürünlerin etkinliğini test etmek önemlidir, çünkü bu sayede bir ürünün iyi çalışıp çalışmadığını anlamak için kullanıcıların uzman olmasına gerek kalmaz.
Bununla birlikte, testler yalnızca test edenin yeterliliği ve ahlakı kadar iyidir ve çoğu iyi ahlak kurallarını uygularsa da bazıları ne yazık ki uymaz. Örneğin, bir test şüpheli bir metodolojiye sahipse veya katılımcılardan bazıları test uzmanıyla özel bir ilişki içinde ise veya bazı satıcıların ürünlerini optimize etmesine izin veriliyor, bazılarının verilmiyorsa sonuçlar sorgulanır.
Güvenlik sektörü bir süredir bu konuyla uğraşmaktadır: 2008'de Zararlı Yazılım Test Standartları Organizasyonu'nun (AMTSO) oluşturulması iki tarafı, test edeni ve satıcıları bir araya getirerek diyalog için bir forum oluşturmayı amaçlamıştır. Özetle, AMTSO'nun amacı ve tüzüğü böyle bir forum sağlamak, standartlar ve en iyi uygulamaları oluşturmak, test konusunda eğitim sağlamak ve standartlara dayalı testlere yardımcı olacak araçlar ve kaynaklar oluşturmaktır.
AMTSO standartlar oluşturma sürecindedir: Aralık ayında, katılımcılar, tedarikçiler ve akademisyenlerden oluşan üyeleri bir taslak yayınladılar. AMTSO'nun test kuruluşu olan bir üyesinin taslak standartlara bağlı testler yürütmesi, bunları oluşturan kuruluşun bir parçası olduklarından makul görünmektedir.
Standartları resmi olarak takip etmese bile, herhangi bir test çalışması, adil ve tarafsız koşullar kullanılarak gerçekleştirilmelidir. Örneğin, bazı üreticilere ürünlerini nihai sonuca göre optimize edecek şekilde yapılandırma veya test sırasında diğer imtiyazlı erişim hakları verilmişse, tüm üreticilere de aynı avantajlar sağlanmalıdır. Eğer oyun alanı düz değilse o zaman hangi oyuncunun fayda sağladığı ve daha da önemlisi hangisinin sağlamadığı açık olmalıdır.
Başka şüpheli uygulamalar da var: Bir üretici, standart bir grup testi öncesinde ayrıca test edilmek için para öderse ne olur? Bu, sonrasında yapılacak grup testi sonucunda belirtilmeli midir? Örneğin, bir test metodolojisinin yayınlandığını düşünün; bir üretici yayınlanmış metodoloji üzerinden hangi sonuca ulaşabileceğini görmek için ücret ödeyerek teste girer. Grup testi gerçekleştirildiğinde ise bu üretici öncesinde optimize edilmiş tespit yetenekleri ile test edilmiş olacaktır. Peki bu ürünü satın alan son kullanıcı aynı optimize edilmiş davranış biçimini gerçek hayatta görebilecek mi? Muhtemelen göremeyecek!
Grup testi gerçekleştirildikten sonra üreticilere sonuçları doğrulamaları için zaman tanınır. Bu süre sonunda üreticiler kaçırdıkları veya yanlış tespitte bulundukları sonuçlara katılır veya itiraz edebilirler. Deneyimlerimize göre, bazı test kuruluşları bu aşamayı para kazanmak için kullanırlar - sonuçların doğrulanmasını istiyorsanız o zaman ödeme yapmanız gerekir - diğer kuruluşlar ise belirli üreticilerin test sonuçlarını doğrulamasına izin verir. Üreticileri, yalnızca bazılarının sonuçlarının doğrulanmasına izin verecek şekilde ayırmak, ürünleri adil veya doğru bir şekilde karşılaştırmak için kullanılamayacak olan test sonuçları oluşturur.
Bir BT Yöneticisi antivirüs ürünlerinin etkinliğini gösteren bir raporu eline aldığında, doğal olarak tespit yüzdesine bakar. Bir üreticinin pazarlama ekibi de reklam kampanyalarında test sonuçlarının yalnızca grafiklerini kullanır. Testi gerçekleştiren kuruluş eğer teste katılan üreticilerin katılım şartlarındaki tutarsızlıkları raporun derinliklerine gömdüyse sadece sonuçlara bakan kimse bundan haberdar olmayacaktır.
Test raporu hangi korumanın seçileceği konusunda çok önemli bir karar vermek için kullanılacaksa, testin arkasındaki metodoloji, ticari ilişkiler ve etik dikkate alınmalıdır. Bu bilgi rapordan alınamazsa, testi düzenleyen kuruluş ile iletişime geçilip açıklama talep edilmelidir.
Bir maçın düz bir oyun alanında yapılması ve katılan tüm takımlar için aynı koşulları, fırsatları ve doğrulama seçeneklerini sağlaması önemlidir. Eğer durum bu şekilde değil ise, sonuçlar ayrıcalıklı koşullar elde etmiş üreticiler lehine ön yargılıdır ve çöpe gitmeyi hak eder.