Перейти до вмісту

Генератор robots.txt: 3 рівні для WordPress

robots.txt, написаний руками, зазвичай помиляється в один із двох боків. Він закриває /wp-includes/ і ламає відтворення, за яким Google читає сторінку, або не закриває нічого, і адмінка, пошук та фіди лишаються відкритими роботу, якому там нема чого робити.

Код: WP-robots-generator, ліцензія MIT.

Генератор працює в браузері на robots.globus.studio, знає шляхи WordPress і видає файл за хвилину. Без реєстрації, без бекенду, нічого нікуди не надсилається.

Рівень 1: мінімум проти сміття в індексі

Low закриває /wp-admin/, /wp-login.php і /readme.html. Це підлога: форма входу й нотатки про встановлення не мають з’являтися у видачі.

admin-ajax.php лишається дозволеним на будь-якому рівні, бо половина тем і плагінів на реальному сайті від нього залежить. Набір правил, який його закриває, дає сайт, де форми перестають працювати, і ніхто не пов’язує одне з одним.

Рівень 2: рекомендований набір

Recommended додає /?s=, /search/, /feed/ і /trackback/. Сторінки пошуку нескінченні, дублюють контент, і робот, який їх знаходить, витрачає бюджет марно.

З фідами складніше. Новинному сайту вони можуть бути потрібні в індексі, магазину майже ніколи. Рівень це типове значення, і файл тому й правлять руками.

Рівень 3: високий і його ціна

High додає /wp-includes/, /wp-content/cache/, /wp-json/, /xmlrpc.php, /comments/, /author/ і ?replytocom=.

Два пункти вимагають обережності. Закритий /wp-json/ ламає редактор блоків у частині конфігурацій і будь-яку інтеграцію через REST, включно з плагінами, які розмовляють із сайтом. Закритий /wp-includes/ не дає Google забрати CSS і JS, а це псує відтворення, за яким він судить сторінку.

Тому рівні названі, а не пронумеровані. Магазин на High і блог на Recommended обидва захищувані; магазин на High із REST-інтеграцією це баг-репорт.

Перемикач AI-краулерів

GPTBot, ClaudeBot, CCBot, Bytespider, Google-Extended і PerplexityBot закриваються одним рухом, за кожним рушієм або зірочкою.

Рішення редакційне, а не технічне. Блокування краулера коштує видимості у відповідях асистентів, дозвіл коштує трафіку, який сайт і так отримує з пошуку. У будь-якому разі правило має лежати у файлі, а не в невиразному відчутті про ШІ.

Пресети плагінів

WooCommerce приносить /cart/, /checkout/ і /my-account/, Easy Digital Downloads сторінку підтвердження та свої дії, WPML дублі за мовним параметром, WPForms адреси обробників, BuddyPress /members/, /activity/ і /groups/.

Саме ці шляхи звичайний генератор пропускає. Кожен пресет це список шляхів, які плагін справді створює, і цей список і робить інструмент інструментом для WordPress.

Що перевірити після встановлення файла

Відкрийте адресу в браузері, переконайтеся в коді 200 і типі text/plain, потім запросіть файл один раз із User-Agent робота, який вам важливий. Файл, який працює для браузера й віддає 403 роботові, це правило хостингу, і зі звичайної вкладки його не видно.

Потім надішліть карту сайту в Search Console заново. Змінений robots це гарний привід попросити пошуковик перечитати карту.

І перевірте, що правила не задвоїлися: файл на диску й відповідь із теми одночасно дають два набори, із яких перемагає не той, який ви обговорювали.

Окремо подивіться на рядок Crawl-delay: Google його ігнорує, Яндекс читає. Правило, яке не діє, краще прибрати, інакше файл обіцяє захист, якого немає.

Чого інструмент не робить

Він не роздає файл. Скопіюйте результат у robots.txt у корені сайту або зберіть ті самі правила в темі й дайте WordPress відповідати. Він не перевіряє, що вже розгорнуто, і не стежить за поведінкою робота після правки.

Перевірка лишається ручною: відкрийте https://example.com/robots.txt, порівняйте з тим, що бачить робот, і тримайте рядок карти сайту робочим. Хибний шлях карти в robots це тихий спосіб втратити місяць індексації.

Поруч: інструменти про те, що ще є на сайті, і SEO-захист про те, як шкідливий трафік псує позиції.