Найнадійніший спосіб відрізнити справжнього пошукового робота від підробки – перевірити PTR-запис (зворотний DNS). Багато ботів видають себе за Googlebot або Bingbot через User-Agent, але не мають справжніх зворотних DNS-записів, як в офіційних пошукових систем.
Що таке PTR (зворотний DNS)?
PTR-запис – це DNS-запис, який пов’язує IP-адресу з доменним ім’ям. Зазвичай домен переводиться в IP (пряма DNS), а PTR – навпаки: IP-адреса переводиться в домен.
Приклад:
- Пряма DNS:
googlebot.com→ 66.249.66.1 - Зворотна DNS (PTR): 66.249.66.1 →
crawl-66-249-66-1.googlebot.com
Цей механізм описано в стандарті IANA DNS Parameters і він є частиною базової інфраструктури інтернету. Зворотний DNS використовується не лише для перевірки ботів, а й у системах захисту електронної пошти, антиспам-фільтрах та інструментах мережевої безпеки.
Як BotBlocker використовує PTR для перевірки ботів
BotBlocker запускає PTR-перевірку щоразу, коли зустрічає User-Agent популярних пошукових систем. Алгоритм:
- Порівнює IP-адресу запиту та User-Agent (наприклад, Googlebot)
- Виконує зворотний DNS-запит (PTR) – IP має вказувати на домен пошукової системи (
*.googlebot.com) - За потреби виконує пряму перевірку: домен із PTR знову переводиться в IP і порівнюється з початковою адресою
Якщо хоч одна з умов не виконується, бот вважається підробним і блокується.
Саме такий підхід рекомендує сам Google для перевірки справжності своїх роботів. Компанія офіційно публікує інструкцію з верифікації Googlebot через зворотний DNS на сторінці Google Search Central. Це підтверджує, що PTR-перевірка – не просто технічний прийом, а стандартний і визнаний метод.
Чому PTR-перевірка ефективна
Фейкові боти часто підробляють User-Agent, щоб непомітно сканувати сайт або атакувати його. Лише справжні пошукові системи мають відповідні діапазони IP і підтримують коректні PTR-записи. Це робить PTR одним із найточніших способів відсіяти:
- Парсери контенту
- Спам-боти під виглядом пошуковиків
- Ботів, що обходять стандартні фільтри
User-Agent можна підмінити за кілька секунд – це не потребує жодних технічних ресурсів. Натомість налаштувати коректний зворотний DNS-запис для чужого діапазону IP неможливо без доступу до інфраструктури самої пошукової системи. Саме тому перевірка через PTR закриває лазівку, яку не перекривають інші методи фільтрації.
Як PTR-захист працює на практиці
- Не дає стороннім ботам забирати контент, призначений для пошуковиків
- Зменшує ризик SEO-спаму й неправильної індексації
- Блокує атаки, які маскуються під пошукову активність
На практиці це особливо важливо для сайтів із великим обсягом контенту: інтернет-магазинів, новинних порталів, освітніх платформ. Коли боти масово обходять сторінки під виглядом пошукових роботів, вони створюють зайве навантаження на сервер і спотворюють статистику відвідуваності. Блокування на рівні зворотного DNS дає змогу відсіювати такий трафік ще до того, як запит доходить до основної логіки сайту.
Обмеження та особливості
- Перевірка PTR застосовується лише для User-Agent пошукових роботів
- Для звичайних користувачів і типових ботів не застосовується
- Зворотний DNS-запит може додати невелику затримку, але лише для підозрілих User-Agent
Також варто враховувати, що самі пошукові системи регулярно оновлюють свої діапазони IP. BotBlocker відстежує актуальні дані й звіряє їх під час кожної перевірки, тому легітимні роботи не блокуються навіть у разі зміни адрес. Для власника сайту це означає, що система працює без ручного обслуговування – не потрібно вручну вносити нові діапазони чи стежити за оновленнями.
Часті запитання
Чи може бути заблокований справжній Googlebot?
Практично неможливо. Офіційні пошукові роботи завжди підтримують коректні PTR і прямі DNS-записи.
Чи перевіряється PTR у всіх відвідувачів?
Ні, лише якщо User-Agent заявляє, що це пошуковий робот.
Чи впливає це на швидкість сайту?
Ні, перевірки виконуються лише за потреби й оптимізовані в BotBlocker.
Що відбувається, якщо бот не пройшов перевірку?
BotBlocker блокує запит. Реальний пошуковий робот проходить таку перевірку автоматично, тож індексація сайту не постраждає.