«Идеальных тестов антивирусов не бывает». Взгляд разработчика на тестирование антивирусных программ

В сети можно найти множество независимых тестов антивирусных программ. Наиболее известным из них доверяют миллионы пользователей. Но многие ли тесты действительно можно назвать независимыми и качественными? Antivirus.UA также собирается проводить тестирование программ по безопасности, но хочет делать это качественно. Поэтому мы решили узнать у специалиста его мнение об известных тестах, о том, как они проводятся, какие проблемные моменты тестирования стоит учесть, чтобы не попасть в просак.

Добрый день, Олег. Antivirus.UA готовится к проведению тестирования программ по кибербезопасности. В первую очередь под наши оценки будут подпадать антивирусы. Вы, как специалист со стажем в области разработки антивирусного ПО, наверное, часто сталкиваетесь как с внутренним, так и с внешним тестированием своих продуктов. Чем отличается внешнее независимое тестирование от тестирования во время работы над созданием и развитием своего продукта?

Внутренние тесты бывают очень разные, и задачи разные у них. Можно проводить тесты внутри компании, зная свои слабые места, с целью определить, насколько продукт подтянулся по качеству после внесения тех или иных исправлений. А бывают тесты, заказанные отделом маркетинга. Тут цель обратная – показать сильные стороны продукта по сравнению с конкурентами и по возможно завуалировать существующие проблемы. Озвучиваются, как правило, именно маркетинговые тесты и, как Вы понимаете, доверять им в полной мере нельзя.

Независимый тест, это тест проведённый людьми, не имеющими отношения к какой-либо антивирусной компании (или её представителю) и не выполняющими задания подобных компаний. То есть не каждый тест, проведённый вне стен антивирусной компании, является независимым.

А может независимый тест помочь разработчикам в улучшении продукта?

Именно такие, по-настоящему независимые тесты, больше всего и помогают разработчикам антивирусов. Но только при условии, что тесты действительно независимы. Качественный тест или обзор – это важный материал для антивирусной компании, это повод задуматься о качестве своих продуктов и о том, что необходимо сделать для их улучшения.

А как может такой внешний тест навредить дальнейшей работе над продуктом или его реализации? Например, могут ли данные, полученные в результате независимого тестирования указать на несуществующую ошибку, "исправление" которой может привести к ухудшению работы программы?

Вряд ли некачественный тест собьет с толку разработчиков. Эти люди отлично понимают логику работы антивирусов. Но тем не менее они могут принести большую головную боль. Результаты тестов интересны не только рядовым пользователям, но и руководителям компаний, и менеджерскому составу, маркетологам и другим специалистам. Они не всегда могут разобраться в тонкостях тестирования, обнаружить подлог. И в пылу борьбы с вымышленными проблемами принести немало хлопот отделам разработки, вирусным лабораториям, специалистам по изучению качества продуктов и другим ответственным лицам. Хотя опытные компании давно уже разобрались в этих играх, они отлично знают, кто есть кто, знают правила игры, и понимают, каким тестам надо верить, а каким нет.

Какие вообще проблемы могут возникать из-за неправильно проведенного теста?

Самая большая проблема – это формирование негативного общественного мнения. Мы часто сталкивались с ситуациями, когда в тестах применялись некачественные вирусные коллекции: среди вирусов присутствовали явно неработоспособные файлы с повреждённой структурой (на жаргоне аналитиков – «огрызки»), на которых часть антивирусов срабатывает (называя эти файлы вирусами), а часть – нет. Тестеры не беспокоятся о том, что данный образец неработоспособный, не несёт угрозы пользователю и его совершенно не обязательно детектировать. Их интересуют только цифры – какой антивирус больше файлов нашёл. Такие коллекции попадают в интернет и пользователи начинают их массово слать в вирусные лаборатории с комментариями «вот, антивирус ХХХ детектирует эти вирусы, а ваш антивирус – нет». И проще добавить этот хлам в вирусные базы (увеличивая тем самым объём потребляемой антивирусом памяти), чем объяснять каждому, почему эти файлы антивирус не определяет.

avlogo_0.png

Как известно, для проведения тестирования тех же антивирусов необходимо иметь определенную базу вирусов. Откуда обычно тестировщики получают эту базу? Насколько полной она является и можно ли говорить в случае разных баз у разных тестировщиков о беспристрастности какого-либо тестирования?

Количество публичных вирусных коллекций в сети на самом деле невелико. Большинство любительских тестов проводится на каких-то старых коллекциях. Ценность таковых тестов минимальна (никого не интересует как антивирус детектирует вирусы трёхлетней давности, которые давно уже не встречаются на компьютерах пользователей). Формирование собственных вирусных коллекций – удел фанатов своего дела или профессионалов, зарабатывающих деньги на проведении тестов.

Вот тут и возникает проблема. Как тот или иной тестировщик определяет, что попавший к нему каким-то образом файл (полученный от друга, пришедший по почте, скачанный из интернета) является вирусом? Ведь в большинстве своём эти люди не являются вирусными аналитиками и не могут проанализировать сам файл? Конечно же, для этого используются антивирусные программы, которые и говорят что данный файл – вирус.

И вот я, будучи администратором какой-то сети, использую для защиты сети какой-то антивирус (может быть, несколько антивирусов). За время работы антивирус обнаружил сотни вирусов, пытавшихся атаковать компьютеры сети и бережно складывал их в карантин. Так, за месяц я могу собрать несколько сот вирусов. Одна проблема – всё это вирусы по мнению используемого мной антивируса. Итак, мы получаем коллекцию, на которой мой любимый антивирус детектирует 100%, а все остальные автоматически проигрывают! А теперь представьте, какой объективный тест будет проведён на такой вирусной коллекции?

То есть по-настоящему независимых и беспристрастных тестов не бывает?

Ну почему, существуют достаточно качественные независимые тесты. Но таковых немного именно потому, что проведение такого теста требует очень много ресурсов. Одним словом – это дорого, и далеко не все тестеры или тестовые центры готовы выполнить такой огромный объём работы просто для того, чтобы сравнить между собой несколько антивирусов.

А у кого из известных тестировщиков самая большая база вирусов?

С одной стороны сложно сказать, у кого самая большая база, а с другой – в этом и нет смысла. Ну вот представьте себе, сканирование нашей вирусной коллекции самые быстрые антивирусы на мощном компьютере выполняют приблизительно за 5-6 дней. При этом вы получите отчёт по детектированию десятков миллионов зараженных объектов. Некоторые не столь быстрые антивирусы не закончат проверку такой коллекции даже за месяц (а, может быть, и вообще никогда не смогут дойти до конца).В больших коллекция нету смысла, важнее как антивирус детектирует актуальные (современные угрозы), а также новые угрозы, образцы которых ещё не были переданы в антивирусные лаборатории или были отправлены только что (всего несколько часов назад).

virus.jpg

То есть можно провести полезный и результативный тест, не имея огромной базы вирусов? Тогда дело заключается еще в методике проведения теста? Какой должна быть эта методика?

Именно такой я и вижу правильную методику тестирования антивирусов – проверять их способность обнаруживать и нейтрализовывать реально существующие и активные именно сейчас угрозы. Вы можете проверить антивирусы всего на 10 вирусах, но активных прямо сейчас, заражающих пользователей именно сегодня. Такой тест будет нести пользователю больше пользы, чем тестирование на пыльной коллекции с миллионом образцов популярных когда-то угроз.

Можете дать несколько советов, с чего нужно начинать и что самое важное в проведении тестирования? Без чего тест не будет успешным?

Не бывает идеальных тестов. Нельзя протестировать всё и сразу и вывести какую-то общую идеальную оценку. Все антивирусы разные, их делали не глупые люди. И пользователи разные. Одному надо, чтобы его систему залили бетоном и вирусы не проникли в неё ни под каким соусом, а другой пользователь предпочитает вообще не замечать работу антивируса. И оба продукта имеют право на жизнь, просто выберут их разные пользователи.

Выберите свою нишу, определитесь, что вы тестируете, что по вашему самое важное, скажите об этом открыто. Предупредите вашего читателя, что вы игнорируете какие-то характеристики, а на остальных останавливаетесь подробнее. Ведь тест – это лишь точка зрения одной из команд тестирования, но никак не абсолютная истина.

Спасибо за полезное интервью, Олег! Надеемся, наши тесты, с учетом Ваших советов, будут качественными и интересными как пользователям, так и разработчикам.

Presskonferenciya_Zillya_4.jpg

 

Еще интересное

«Лаборатория Касперского» в очередной раз проводит ежегодную программу распределения грантов на реализацию научно-исследовательских проектов в области информационной безопасности.

26 марта основатель сайта «Хабрахабр» Денис Крючков заявил в своём твиттере, что все сайты компании «Тематические медиа» (владеет «Хабрахабром») недоступны из-за DDoS-атаки. Он уточнил, что атака продолжается с ночи 26 марта, а её мощность достигает 20 гигабит в секунду.

Граждане США не верят, что за ними не следят, однако не выступают против системы.