Генератор robots.txt: 3 рівні для WordPress
robots.txt, написаний руками, зазвичай помиляється в один із двох боків. Він закриває /wp-includes/ і ламає відтворення, за яким Google читає сторінку, або не закриває нічого, і адмінка, пошук та фіди лишаються відкритими роботу, якому там нема чого робити. Код: WP-robots-generator, ліцензія MIT. Генератор працює в браузері на robots.globus.studio, знає шляхи WordPress і видає файл за […]
