С каждым годом виды ботов в интернете становятся разнообразнее, а их доля в общем трафике растет. Автоматизированные системы давно обогнали живых пользователей по объему запросов. Некоторые из них полезны — например, поисковые краулеры. Но большинство угрожают безопасности и бизнесу любого сайта. Чтобы выстроить реальную защиту, нужно сначала понять, с чем именно вы столкнулись. Разбираем все виды ботов подробно.
Весь не-человеческий трафик условно делится на несколько групп. Зная основные виды ботов, проще выстроить защиту и не тратить ресурсы на борьбу вслепую. Ошибочно считать, что проблема касается только крупных площадок: по данным отраслевых исследований, небольшие сайты атакуют столь же активно, как и лидеров рынка.
Это «хорошие» боты — Googlebot, Bingbot, YandexBot и другие официальные краулеры поисковиков. Их задача — индексировать контент для поиска.
Вред: Настоящие роботы обычно не опасны, но злоумышленники часто маскируются под Googlebot или Bingbot для обхода фильтров.
Парсеры — инструменты, которые массово скачивают страницы сайта для дальнейшего анализа, сбора цен, агрегирования данных, копирования каталога и т.д.
Скраперы — разновидность парсеров, которые собирают контент (тексты, изображения, прайсы) для перепродажи или размещения на сторонних ресурсах.
Вред:
Парсинг особенно опасен для интернет-магазинов: конкуренты регулярно собирают данные о ценах и ассортименте, чтобы оперативно реагировать на изменения. Эти виды ботов работают круглосуточно и способны обойти весь каталог за несколько часов. По данным Imperva Bad Bot Report, плохие боты составляют около 32% всего веб-трафика, и парсеры занимают среди них значительную долю.
Автоматически отправляют спам-комментарии, регистрируют фейковые аккаунты, рассылают вредоносные сообщения через формы обратной связи.
Вред:
Подбирают пароли к аккаунтам методом перебора или используют утекшие базы логинов и паролей. Это один из наиболее опасных видов ботов с точки зрения прямого ущерба бизнесу. Успешный взлом административной панели означает полную потерю контроля над сайтом. Такие виды ботов особенно распространены на сайтах с регистрацией и личными кабинетами пользователей.
Вред:
Притворяются Googlebot, Bingbot, Baidu и другими, чтобы обойти фильтры и собирать данные без ограничений.
Вред:
Автоматизированные системы, которые используют прокси, VPN или выходы TOR для скрытия настоящего IP и обхода блокировок.
Вред:
Используются для стресс-тестирования, но иногда запускаются с целью перегрузки сайта или DDoS-атак.
Вред:
Все перечисленные виды ботов объединяет одно: они действуют без ведома и согласия владельца сайта. Реальный ущерб от их работы может быть как мгновенным (падение сайта под нагрузкой), так и накопительным (постепенное снижение позиций в поиске, утечка клиентской базы). Малый бизнес особенно уязвим, потому что не имеет выделенных ресурсов на мониторинг трафика.
Важно понимать, что разные виды ботов наносят разный по характеру вред. Одни бьют по репутации, другие — по доходам, третьи создают юридические риски через утечку персональных данных клиентов. Часто несколько типов работают одновременно: пока одни боты скачивают каталог товаров, другие регистрируют фейковые аккаунты и перегружают формы.
Методы обнаружения зависят от того, с какими видами ботов вы имеете дело. Простые инструменты справляются с примитивными угрозами, а для сложных атак нужны специализированные решения. Хорошая новость: большинство атак поддаются обнаружению, если регулярно анализировать логи сервера и следить за аномалиями в поведении посетителей.
Комплексную защиту от всех видов ботов обеспечивают специализированные сервисы. Они работают на уровне сети и приложения одновременно, что делает их эффективнее разрозненных мер. Подробнее о принципах такой защиты можно узнать в материалах OWASP Automated Threats to Web Applications.
Отдельно стоит упомянуть поведенческий анализ. Он позволяет выявить даже те виды ботов, которые умеют имитировать движения мыши и паузы между кликами. Такие системы оценивают сотни параметров одновременно и принимают решение о блокировке без участия человека.
Скраперы ориентированы на сбор контента (тексты, картинки), парсеры — на структурированные данные (например, цены, каталоги). Оба относятся к числу видов ботов, которые наносят прямой экономический ущерб владельцам сайтов.
Чтобы не попасть под блокировку и иметь доступ ко всем страницам. Поддельные краулеры — один из самых распространенных видов ботов, потому что маскировка под Googlebot дает доступ к закрытым от обычных посетителей разделам.
Да. Даже небольшой проект может стать целью парсинга, спама или перебора паролей. Все виды ботов, описанные выше, не делают разницы между крупными и малыми ресурсами — они атакуют всё, что доступно.
Желательно делать это регулярно, хотя бы раз в неделю. Картина трафика меняется быстро: новые виды ботов появляются постоянно, и то, что вчера не вызывало вопросов, сегодня может оказаться признаком атаки. Автоматический мониторинг через специализированные сервисы снимает эту задачу с плеч владельца сайта.
Использовать решения вроде BotBlocker для комплексной защиты на всех уровнях. Сервис закрывает сразу все виды ботов, описанные в этой статье, без необходимости настраивать каждый инструмент отдельно.
