На светлой стороне: как разработчики «Солара» решили проблему атакующего ИИ и получили патент

Дмитрий Лукин

руководитель отдела развития облачных технологий ГК «Солар», разработчик запатентованного способа классификации веб-трафика для установки защищенного соединения.

Если у вас есть бизнес, то, скорее всего, у вас есть и продвигающий его сайт. Это визитная карточка любой компании. И это именно та цель, куда первым делом захотят ударить конкуренты или злоумышленники с помощью ботов. «Мой сайт — моя крепость», — так можно перефразировать известное выражение. А значит, надо обороняться.

Однако бизнес бывает разным. Крупный — стремится избавиться от ботов конкурента, которые собирают актуальные цены. А сайт малого может вообще не выдержать всплеска активности ботов. В обоих случаях задача предельно ясна — заблокировать бота на этапе установки соединения с сайтом.

К примеру, сигнатурный анализ решает эту задачу следующим образом:

• Сначала идет сбор технических параметров посетителя сайта, которые он предоставляет при так называемым «рукопожатии с сервером»;

• Затем параметры объединяются в сигнатуру (иногда вычисляется хеш от этой сигнатуры);

• А уже после, если посетитель ведет зловредную активность — эта сигнатура/хеш заносится в черный список.

Разумеется, злоумышленникам известен такой метод защиты. Поэтому они научились менять порядок своих параметров при каждом подключении, создавая другой хеш, а также удалять подозрительные параметры — все, что поможет получить другую сигнатуру. Для защиты от подобных атак можно взять на вооружение нечеткий хеш (fuzzy hashing), когда два похожих набора формируют два похожих хеша. Этот метод хорош, но он по-прежнему требует ручной работы с сигнатурами.

Мы в «Соларе» решили, что бороться со стремительно растущими атаками поможет автоматический инструмент, выявляющий скрытые закономерности — искусственный интеллект. Так и родилась идея анализа «рукопожатия клиента» с помощью алгоритмов машинного обучения. Мы прекрасно понимали, что сигнатурный анализ работает, ведь он не раз помогал отбивать DDoS-атаки. Поэтому не сомневались, что удастся создать такую модель.

Важно, что у нас была не просто идея, но и ресурс. Правда такова, что наука о больших данных не работает без больших данных. Наши коллеги из других подразделений «Солара» поделились с нами своим опытом и построили инфраструктуру для сбора данных, оказав нам неоценимую помощь.

Однако собрать достаточное количество обучающих данных — мало. Возник вопрос — как их разметить? Как определить, что клиент сайта — легитимный пользователь, а не автоматизированный бот? Стоит ли блокировать какой-то класс ботов, если это затронет множество людей, пользующихся, скажем, устаревшими ПК и смартфонами? Этот этап занял у нас больше всего времени.

Разработка «Солара» основана на математической модели, которая опирается на статистику обращений к веб-ресурсу реальных пользователей и ботов. Наша система анализирует параметры HTTPS-соединения и прогнозирует вероятность того, что запрос выполнен ботом. Если вероятность оказывается выше заданного порогового значения, то для установления защищенного соединения пользователю необходимо пройти дополнительную проверку. Если же порог не превышен, сессия устанавливается. В результате компания-владелец интернет-ресурса может укрепить защиту от актуальных угроз, связанных с активностью ботов:

1. Автоматизированный сбор данных (data scraping). Боты массово скачивают с онлайн-ресурсов информацию о ценах, товарах, услугах и т. д. Это искажает результаты маркетинговых исследований и аналитику, поскольку затрудняет оценку реального спроса и смазывает реальную картину потребительского поведения. Кроме того, эти данные могут быть использованы для мошенничества, клонирования сайтов для создания фишинговой копии и других целей. Новая технология «Солара» выявляет неестественные параметры HTTPS-запросов, характерные для автоматических скриптов.

2. Скликивание и накрутка просмотров. Злоумышленники намеренно накручивают клики по рекламным объявлениям конкурентов, чтобы исчерпать рекламный бюджет и снизить эффективность рекламы. Еще один способ – злоумышленники накручивают просмотры сайта с помощью ботов, искажая аналитику, что может повлиять на место сайта в поисковой выдаче.

3. Манипуляции с логинами и паролями. Злоумышленники пытаются автоматически авторизоваться, подставляя учетные данные из утекших ранее баз данных. Фильтрация аномального трафика до прохождения аутентификации позволяет защитить пользовательские аккаунты.

4. DDoS-атаки. Если боты попытаются перегрузить ресурс атакой на HTTPS-соединение, новое решение сможет определить нестандартные шаблоны в трафике и отклонить нежелательные запросы до того, как они дойдут до сервера.

5. Разведка перед кибератакой. Злоумышленники используют сканеры и ботов, чтобы определить, как устроен сайт, использует ли он компоненты с известными уязвимостями. Такая активность имеет характерные следы, по которым ее можно отфильтровать.

Конечный результат нас приятно удивил — модель находила неочевидные на первый взгляд закономерности. Тогда мы точно поняли: «Она работает!»

Огромное преимущество модели машинного обучения в том, что мы можем регулировать ее агрессивность. Когда нагрузка на веб-ресурс низкая, то его владелец может допустить присутствие ботов на сайте, если это увеличит посещаемость и конверсию. Один из защищаемых новостных ресурсов даже был категорически против блокировки ботов, потому что они помогали распространять новости. Если же сайт подвергается DDoS-атаке, модель автоматически становится максимально агрессивной. Может пострадать часть легитимных пользователей, но это вынужденная временная мера для блокировки всех известных ботов.