MY ACCOUNT

User-Agent: методы явного и неявного обнаружения ботов

Каждый посетитель сайта передаёт серверу заголовок User-Agent, содержащий информацию о браузере или боте. Анализируя этот заголовок, вы можете легко отделить реальных пользователей от автоматизированного трафика.

Что такое User-Agent?

Строка User-Agent сообщает серверу:

  • Тип и версию браузера (Chrome, Firefox, Safari).
  • Операционную систему (Windows, macOS, Linux).
  • Устройство пользователя (ПК, смартфон).

Пример User-Agent:

Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/137.0.0.0 Safari/537.36

Зачем анализировать User-Agent?

Боты часто подделывают или искажают User-Agent, что позволяет легко их идентифицировать:

  • Парсеры контента.
  • Спам-боты.
  • Фальшивые поисковые роботы.
  • Боты для накрутки рекламы и кликов.

Явные методы обнаружения ботов по User-Agent

1. Пустой User-Agent

Простейшие боты вовсе не отправляют этот заголовок, что позволяет быстро блокировать такой трафик.

2. Известные сигнатуры ботов

Легитимные боты явно идентифицируют себя:

lessКопироватьРедактироватьGooglebot/2.1 (+http://www.google.com/bot.html)

Однако фальшивые боты часто пытаются подделать подобные сигнатуры, что требует дополнительной проверки DNS.

3. Неправильные или устаревшие строки

Многие боты используют явно некорректные или устаревшие User-Agent:

Mozilla/4.0 (compatible; MSIE 5.0; Windows 98)

Неявные методы обнаружения ботов

1. Отпечатки браузера (Fingerprinting)

  • Canvas и WebGL: выявление графических аномалий.
  • WebRTC: выявление сетевых аномалий.

2. Проверка поддержки JavaScript

Большинство реальных браузеров поддерживают JavaScript, многие боты — нет.

3. Поведенческая аналитика

Анализируется частота смены User-Agent и необычное поведение на сайте.

4. Проверка временных паттернов

Боты демонстрируют слишком быстрые или повторяющиеся действия, что легко выявляется.

Выявление фальшивых поисковых роботов

Фальшивые боты пытаются выглядеть как Googlebot или Bingbot. Для их проверки используется:

  • Обратный DNS (PTR-записи).
  • Проверка соответствия прямого и обратного DNS.

BotBlocker и проверка User-Agent

BotBlocker эффективно объединяет явные и неявные методы, обеспечивая комплексную защиту сайта от всех видов автоматизированных угроз.

Активируйте BotBlocker для полной защиты

Внутренние ссылки (RU):

Внешние ссылки (RU):