Перейти к содержимому

Генератор robots.txt: 3 уровня для WordPress

robots.txt, написанный руками, обычно ошибается в одну из двух сторон. Он закрывает /wp-includes/ и ломает отрисовку, по которой Google читает страницу, либо не закрывает ничего, и админка, поиск и фиды остаются открытыми роботу, которому там нечего делать.

Код: WP-robots-generator, лицензия MIT.

Генератор работает в браузере на robots.globus.studio, знает пути WordPress и выдаёт файл за минуту. Без регистрации, без бэкенда, ничего никуда не отправляется.

Уровень 1: минимум против мусора в индексе

Low закрывает /wp-admin/, /wp-login.php и /readme.html. Это пол: форма входа и заметки об установке не должны появляться в выдаче.

admin-ajax.php остаётся разрешённым на любом уровне, потому что половина тем и плагинов на реальном сайте от него зависит. Набор правил, который его закрывает, даёт сайт, где формы перестают работать, и никто не связывает одно с другим.

Уровень 2: рекомендованный набор

Recommended добавляет /?s=, /search/, /feed/ и /trackback/. Страницы поиска бесконечны, дублируют контент, и робот, который их находит, тратит бюджет впустую.

С фидами сложнее. Новостному сайту они могут быть нужны в индексе, магазину почти никогда. Уровень это умолчание, и файл потому и правится руками.

Уровень 3: высокий и его цена

High добавляет /wp-includes/, /wp-content/cache/, /wp-json/, /xmlrpc.php, /comments/, /author/ и ?replytocom=.

Два пункта требуют осторожности. Закрытый /wp-json/ ломает редактор блоков на части конфигураций и любую интеграцию по REST, включая плагины, которые разговаривают с сайтом. Закрытый /wp-includes/ не даёт Google забрать CSS и JS, а это портит отрисовку, по которой он судит страницу.

Поэтому уровни названы, а не пронумерованы. Магазин на High и блог на Recommended оба защитимы; магазин на High с REST-интеграцией это баг-репорт.

Переключатель AI-краулеров

GPTBot, ClaudeBot, CCBot, Bytespider, Google-Extended и PerplexityBot закрываются одним движением, по каждому движку или звёздочкой.

Решение редакционное, а не техническое. Блокировка краулера стоит видимости в ответах ассистентов, разрешение стоит трафика, который сайт и так получает из поиска. В любом случае правило должно лежать в файле, а не в смутном ощущении про ИИ.

Пресеты плагинов

WooCommerce приносит /cart/, /checkout/ и /my-account/, Easy Digital Downloads страницу подтверждения и свои действия, WPML дубли по языковому параметру, WPForms адреса обработчиков, BuddyPress /members/, /activity/ и /groups/.

Именно эти пути обычный генератор пропускает. Каждый пресет это список путей, которые плагин действительно создаёт, и этот список и делает инструмент инструментом для WordPress.

Что проверить после установки файла

Откройте адрес в браузере, убедитесь в коде 200 и типе text/plain, потом запросите файл один раз с User-Agent робота, который вам важен. Файл, который работает для браузера и отдаёт 403 роботу, это правило хостинга, и из обычной вкладки его не видно.

Затем отправьте карту сайта в Search Console заново. Изменённый robots это хороший повод попросить поисковик перечитать карту.

И проверьте, что правила не задвоились: файл на диске и ответ из темы одновременно дают два набора, из которых побеждает не тот, что вы обсуждали.

Отдельно посмотрите на строку Crawl-delay: Google её игнорирует, Яндекс читает. Правило, которое не действует, лучше убрать, иначе файл обещает защиту, которой нет.

Чего инструмент не делает

Он не раздаёт файл. Скопируйте результат в robots.txt в корне сайта или соберите те же правила в теме и дайте WordPress отвечать. Он не проверяет, что уже развёрнуто, и не следит за поведением робота после правки.

Проверка остаётся ручной: откройте https://example.com/robots.txt, сравните с тем, что видит робот, и держите строку карты сайта рабочей. Неверный путь карты в robots это тихий способ потерять месяц индексации.

Рядом: инструменты о том, что ещё есть на сайте, и SEO-защита о том, как вредный трафик портит позиции.