Рубрика: Выявление простых ботов

Referer (часто пишут «Referrer») - это HTTP-заголовок, который сообщает серверу, с какой страницы посетитель перешёл на сайт. Например, если пользователь кликнул по ссылке на стороннем ресурсе, адрес этой страницы появится в Referer. Зачем нужен Referer Referer помогает: Однако этот заголовок легко подделать, и это часто используют для атак и спама. Проблемные сценарии Referer 1. […]

В BotBlocker есть дополнительная функция: блокировка посетителей, у которых PTR (reverse DNS) - это просто копия IP-адреса. Такая ситуация часто указывает на подозрительный или плохо сконфигурированный источник трафика. Что такое PTR, равный IP? Когда PTR-запись на IP - это не доменное имя, а тот же IP, только в виде 1-2-3-4.provider.com, либо вообще в явном виде […]

Самый надёжный способ отличить настоящего поискового робота от подделки - проверить PTR-запись (обратную DNS). Многие боты выдают себя за Googlebot или Bingbot через User-Agent, но не имеют настоящих обратных DNS-записей, как у официальных поисковых систем. Что такое PTR (Reverse DNS)? PTR-запись - это DNS-запись, которая связывает IP-адрес с доменным именем. Обычно домен переводится в IP […]

Боты часто подделывают язык или страну браузера, чтобы выглядеть «реальнее». В BotBlocker есть продвинутая, но необязательная функция: фильтрация по несоответствию языка и страны (GeoIP Language mismatch). Как работает фильтр GeoIP Language mismatch При включении этой опции BotBlocker сравнивает два параметра каждого посетителя: Если язык браузера не соответствует стране и не входит в список распространённых языков […]

В BotBlocker (бесплатная версия) анализ заголовка Accept-Language - это простой, но эффективный способ отсечь автоматический трафик. Всё работает «из коробки», не требует ручных таблиц или тонкой настройки. Как фильтрация Accept-Language реализована в BotBlocker Любой современный браузер отправляет корректный заголовок Accept-Language (ru, en-US, de-DE). Большинство скриптов, ботов и простых парсеров: BotBlocker отсекает такие запросы сразу, на […]

Человеческие пользователи заходят на сайт через браузеры с включённым JavaScript. Многие парсеры, скрапер-боты и низкосортные автоматизаторы JavaScript не запускают. Облако BotBlocker использует этот факт, выполняя лёгкую проверку поддержки JavaScript и блокируя ботов без ущерба для пользователей. Почему проверка JavaScript эффективна Люди взаимодействуют с элементами, созданными JavaScript: анимациями, формами, загрузками в фоне. Эти сценарии не выполняются […]

Каждый посетитель сайта передаёт серверу заголовок User-Agent, содержащий информацию о браузере или боте. Анализируя этот заголовок, вы можете легко отделить реальных пользователей от автоматизированного трафика. Что такое User-Agent? Строка User-Agent сообщает серверу: Пример User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/137.0.0.0 Safari/537.36 Зачем анализировать User-Agent? Боты часто подделывают или искажают User-Agent, […]

Правильные настройки для блокировки ботов позволяют защитить сайт без глубоких технических знаний. Достаточно включить несколько проверок, и большая часть вредоносного автоматического трафика перестанет попадать на ваш ресурс. Рассмотрим основные способы, которые реально работают и легко настраиваются за несколько минут. 1. Блокировка пустого User-Agent User-Agent - это заголовок, который сообщает серверу, какой браузер или бот запрашивает […]