Главная » Вебмастеру » Оптимизация robots.txt для блога на Wordpress

Оптимизация robots.txt для блога на WordPress

Безусловно, каждому вебмастеру знакомо назначение файла robots.txt (инструкция для поисковых роботов), но ни каждый спешит завести его после создания сайта. Зря, и вот почему.

robots.txt – текстовый файл, размещаемый в корне вашего сайта. Он позволяет создать правила для поисковых роботов. В числе прочего, запрет на индексацию отдельных каталогов, указание на основное «зеркало» и путь до карты сайта (sitemap.xml).

Популярные «поисковики» неплохо ориентируются в современных CMS, и не станут индексировать не предназначенный для этого контент. Так, Google знает, что «админка» WordPress не подлежит индексации. А вот, запрет «дублей» для него лучше прописать вручную.

Как оптимизировать файл robots.txt для блога на WordPress

Некоторые вебмастеры «фанатично» подходят к вопросу индексации, и включают в robots.txt запрет на страницы с архивами (категориями, метками и т. п.), так как они частично дублируют основной контент. Для большинства же достаточным ограничением является указание «trackback» и «feed», которые полностью дублируют контент и в принципе не предназначены для поисковых роботов.

Последние директивы также помогут избежать санкций со стороны поисковых систем. В ином случае, вебмастер рискует оказаться под фильтром Google, что зовётся «Panda».

Вот примерное содержание для вашего robots.txt для блога на WordPress:

User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /feed/
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /?s=

User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /feed/
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /?s=
Allow: /wp-content/uploads/
Host: https://youresite.ru

Sitemap: https://youresite.ru/sitemap.xml

Примечание! Мы полностью закрываем директории «wp-admin» и «wp-includes». Каталог «wp-content» закрыт лишь частично. В нём есть папка «uploads», куда загружается вся графика, подлежащая индексации.

Вы можете применить наш robots.txt для своего блога на WordPress, просто отредактировав некоторые директивы в соответствии с вашим доменом и префиксом в названиях каталогов. Проверить созданный файл на валидность можно в интерфейсе «Google Webmastr Tools» или в сервисе «Яндекс.Вебмастер».

  поделитесь с друзьями:
Подписаться на почтовую рассылку
Комментарии
  1. Иван
    • Admin

Оставить комментарий

Авторизоваться через: 

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Нажимая кнопку "Отправить", я принимаю пользовательское соглашение и подтверждаю, что ознакомлен и согласен с политикой конфиденциальности

Сообщите об ошибке, мы исправим:

Отправить