вход

Как закрыть от индексации дубли в WordPress

Как закрыть от индексации дубли в WordPress

Для сайтов, управляемых бесплатными CMS, как например WordPress, одной из проблем является  автоматическая генерация дублированных страниц. Что значит дублированных страниц? Это значит, что на страницу с определённым содержанием можно выйти по разным адресам. Несколько ссылок ведут на одну и ту же страницу.

При добавлении статьи на сайт под управлением WordPress, обычно используются как категории, так и метки или теги. Теги создают дубликаты страниц, которые также индексируют поисковые системы.

И поисковые системы воспринимают такие ссылки как повторяющийся контент. А за это, как известно, поисковая система может наложить фильтр, выйти из-под которого бывает порой не только очень сложно, но и не возможно.

Если у вас блог или сайт работает под управлением WordPress, то вы должны задаться вопросом -  как запретить индексацию тегов и как запретить индексацию категорий?

Чтобы запретить индексацию дублей для  WordPress можно использовать два пути:

  1.  Использовать файл  robots.txt
  2. Установить плагин "All in One SEO"

Очень важно для вашего сайта правильно использовать файла robots.txt. В нем не должно содержаться ошибок. Почему? Потому что поисковые системы сначала проверяют наличие файла robots.txt в корневой директории Вашего сайта. В этом файле указываются специальные правила индексации для вашего сайта.

Где расположен файл robots.txt? Файл robots.txt расположен в корневой директории вашего сайта, где должен быть только один файл robots.txt:

  • Адрес сайта → http://site.com/
  • Адрес файла robots.txt → http://site.com/robots.txt


Написан файл robots.txt  должен быть в нижнем регистре, и создан в кодировке UTF-8.


Чтобы запретить или разрешить индексацию нужно использовать правила Disallow или Allow:

  • Disallow → запрещает индексирование.
  • Allow → разрешает индексирование.

Для правила Disallow есть небольшое замечание - со слешем и без слеша на конце:

  • Disallow: /upload/ — правило актуально только  для папки upload
  • Disallow: /upload — правило актуально для папки и файлов upload


Ниже представлен файл robots.txt рекомендуемый WordPress:

  
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: /category/*/*
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /*?
Allow: /wp-content/uploads/

или доработанный вариант

  
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /archives/
Disallow: /category/
Disallow: /search/ 
Disallow: /page/
Disallow: /tag/
Disallow: /xmlrpc.php
Allow: /wp-content/uploads
Host: www.site.com
Sitemap: http://www.site.com/sitemap.xml 

С введением поисковиками Google, Yahoo и Bing тега «canonical» надобность в запрете посредством robots.txt lдля них отпала

Страница с контентом просто должна содержать тег:

<link rel="canonical" href="http://www.site.com/post" />

Если все это для вас весьма сложно и непонятно, или у вас нет ни времени ни желания разбираться и настраивать все это своими руками, то как хорошая альтернатива всему этому может выступать установка плагина «All in One SEO Pack».

Плагин «All in One SEO Pack» по праву входит в список плагинов, обязательных к установке на блоге под управлением WordPress. Ведь плагин «All in One SEO Pack» дает пользователю полный контроль над заголовками страниц и мета-тегами.

Установите плагин, и включите первый чекбокс в положение "Подключить". Далее выберите нужные настройки.

К особенностям плагина «All in One SEO Pack» можно отнести:

  • Включенная позиция Canonical URLs решает проблему дублированного контента.
  • Автоматическое генерирование основных заголовков страниц.
  • Автоматическое генерирование мета-тегов.
  • Возможность переопределять основные заголовки страниц.
  • Возможность по своему усмотрению устанавливать мета-описания и ключевые слова.

Для того, чтобы запретить индексацию дублей для WordPress посредством плагина «All in One SEO Pack» нужно активировать чекбоксы:

  • Использовать параметр 'noindex' для рубрик
  • Использовать параметр 'noindex' для архива
  • Использовать параметр 'noindex' для архива меток

Останется только пролистать страницу настроек до конца и щелкнуть по синей кнопке «Обновить настройки».

 

Качественные премиум темы и шаблоны для Вашего сайта:

Смотреть полный каталог качественных тем и шаблонов

Здесь Вы можете выбрать из более чем 46 000 готовых дизайнов. Шаблоны сайтов + установка + хостинг + персонализация + поисковая оптимизация + копирайтинг — все эти услуги вы всегда можете получить от профессионалов мирового уровня!


Нашли это полезным? Поделитесь с другими:
Не останавливайтесь, читайте дальше:
5 комментариев

Статья → Как закрыть от индексации дубли в WordPress

  1. Уважаемый автор. На многих сайтах в robots.txt отсутствует запрет на /tag. Более того, некоторые сайты активно и успешно продвигают разделы с метками. В Вашем варианте присутствует Disallow: /tag/. Вопрос очень актуален, а конкретного решения найти не могу. Везде пишет про повторения, дубли страниц и т.д. Но ведь есть примеры. Подскажите, если несложно, можно ли открыть метки для индексации. Очень уж они удобны))

  2. Саша:

    Спасибо за статью!
    Такой вопрос – у меня есть ряд рубрик на сайте, все закрыты через плагин, но есть одна рубрика, которую я да хочу открыть.
    Как поступить в таком случае?
    Спасибо!

  3. megapolisnp:

    А про плагин ничего не сказано..

  4. Интересно, а как закрыть от индексации страницы?

  5. На сколько я знаю в WP роботс генерируется програмно, как туда залезть и откорректировать правильно?

Оставить комментарий

Статья → Как закрыть от индексации дубли в WordPress

Правила комментирования

  1. Кoммeнтapий всегда проходит премодерацию.
  2. В поле "URL блога" можно указывать только ссылку на главную страницу вашего блога. Ссылки на прочие веб-ресурсы (в том числе блоги/сплоги, созданные не для людей) будут удалены.
  3. Запрещается использовать в качестве имени комментатора слоганы/названия сайтов, рекламные фразы, ключевые и т.п. слова. В случае несоблюдения этого условия имя изменяется по усмотрению владельца блога. Просьба указывать нормальное имя или ник.
  4. Весьма вероятно, что короткий и неинформативный кoммeнтapий вида "Спасибо!", "Интересная статья", будет удален. Исключение составляют знакомые автору блога комментаторы.