Оптимизация robots.txt для блога на WordPress

Безусловно, каждому вебмастеру знакомо назначение файла robots.txt (инструкция для поисковых роботов), но ни каждый спешит завести его после создания сайта. Зря, и вот почему.

robots.txt – текстовый файл, размещаемый в корне вашего сайта. Он позволяет создать правила для поисковых роботов. В числе прочего, запрет на индексацию отдельных каталогов, указание на основное «зеркало» и путь до карты сайта (sitemap.xml).

Популярные «поисковики» неплохо ориентируются в современных CMS, и не станут индексировать не предназначенный для этого контент. Так, Google знает, что «админка» WordPress не подлежит индексации. А вот, запрет «дублей» для него лучше прописать вручную.

Некоторые вебмастеры «фанатично» подходят к вопросу индексации, и включают в robots.txt запрет на страницы с архивами (категориями, метками и т. п.), так как они частично дублируют основной контент. Для большинства же достаточным ограничением является указание «trackback» и «feed», которые полностью дублируют контент и в принципе не предназначены для поисковых роботов.

Последние директивы также помогут избежать санкций со стороны поисковых систем. В ином случае, вебмастер рискует оказаться под фильтром Google, что зовётся «Panda».

Вот примерное содержание для вашего robots.txt для блога на WordPress:

User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /feed/
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /?s=

User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /feed/
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /?s=
Allow: /wp-content/uploads/
Host: https://youresite.ru

Sitemap: https://youresite.ru/sitemap.xml

Примечание! Мы полностью закрываем директории «wp-admin» и «wp-includes». Каталог «wp-content» закрыт лишь частично. В нём есть папка «uploads», куда загружается вся графика, подлежащая индексации.

Вы можете применить наш robots.txt для своего блога на WordPress, просто отредактировав некоторые директивы в соответствии с вашим доменом и префиксом в названиях каталогов. Проверить созданный файл на валидность можно в интерфейсе «Google Webmastr Tools» или в сервисе «Яндекс.Вебмастер».