robots.txt, написанный руками, обычно ошибается в одну из двух сторон. Он закрывает /wp-includes/ и ломает отрисовку, по которой Google читает страницу, либо не закрывает ничего, и админка, поиск и фиды остаются открытыми роботу, которому там нечего делать.
Код: WP-robots-generator, лицензия MIT.
Генератор работает в браузере на robots.globus.studio, знает пути WordPress и выдаёт файл за минуту. Без регистрации, без бэкенда, ничего никуда не отправляется.
Уровень 1: минимум против мусора в индексе
Low закрывает /wp-admin/, /wp-login.php и /readme.html. Это пол: форма входа и заметки об установке не должны появляться в выдаче.
admin-ajax.php остаётся разрешённым на любом уровне, потому что половина тем и плагинов на реальном сайте от него зависит. Набор правил, который его закрывает, даёт сайт, где формы перестают работать, и никто не связывает одно с другим.
Уровень 2: рекомендованный набор
Recommended добавляет /?s=, /search/, /feed/ и /trackback/. Страницы поиска бесконечны, дублируют контент, и робот, который их находит, тратит бюджет впустую.
С фидами сложнее. Новостному сайту они могут быть нужны в индексе, магазину почти никогда. Уровень это умолчание, и файл потому и правится руками.
Уровень 3: высокий и его цена
High добавляет /wp-includes/, /wp-content/cache/, /wp-json/, /xmlrpc.php, /comments/, /author/ и ?replytocom=.
Два пункта требуют осторожности. Закрытый /wp-json/ ломает редактор блоков на части конфигураций и любую интеграцию по REST, включая плагины, которые разговаривают с сайтом. Закрытый /wp-includes/ не даёт Google забрать CSS и JS, а это портит отрисовку, по которой он судит страницу.
Поэтому уровни названы, а не пронумерованы. Магазин на High и блог на Recommended оба защитимы; магазин на High с REST-интеграцией это баг-репорт.
Переключатель AI-краулеров
GPTBot, ClaudeBot, CCBot, Bytespider, Google-Extended и PerplexityBot закрываются одним движением, по каждому движку или звёздочкой.
Решение редакционное, а не техническое. Блокировка краулера стоит видимости в ответах ассистентов, разрешение стоит трафика, который сайт и так получает из поиска. В любом случае правило должно лежать в файле, а не в смутном ощущении про ИИ.
Пресеты плагинов
WooCommerce приносит /cart/, /checkout/ и /my-account/, Easy Digital Downloads страницу подтверждения и свои действия, WPML дубли по языковому параметру, WPForms адреса обработчиков, BuddyPress /members/, /activity/ и /groups/.
Именно эти пути обычный генератор пропускает. Каждый пресет это список путей, которые плагин действительно создаёт, и этот список и делает инструмент инструментом для WordPress.
Что проверить после установки файла
Откройте адрес в браузере, убедитесь в коде 200 и типе text/plain, потом запросите файл один раз с User-Agent робота, который вам важен. Файл, который работает для браузера и отдаёт 403 роботу, это правило хостинга, и из обычной вкладки его не видно.
Затем отправьте карту сайта в Search Console заново. Изменённый robots это хороший повод попросить поисковик перечитать карту.
И проверьте, что правила не задвоились: файл на диске и ответ из темы одновременно дают два набора, из которых побеждает не тот, что вы обсуждали.
Отдельно посмотрите на строку Crawl-delay: Google её игнорирует, Яндекс читает. Правило, которое не действует, лучше убрать, иначе файл обещает защиту, которой нет.
Чего инструмент не делает
Он не раздаёт файл. Скопируйте результат в robots.txt в корне сайта или соберите те же правила в теме и дайте WordPress отвечать. Он не проверяет, что уже развёрнуто, и не следит за поведением робота после правки.
Проверка остаётся ручной: откройте https://example.com/robots.txt, сравните с тем, что видит робот, и держите строку карты сайта рабочей. Неверный путь карты в robots это тихий способ потерять месяц индексации.
Рядом: инструменты о том, что ещё есть на сайте, и SEO-защита о том, как вредный трафик портит позиции.
