Как закрыть от индексации дубли в WordPress


Для сайтов, управляемых бесплатными CMS, как например WordPress, одной из проблем является  автоматическая генерация дублированных страниц. Что значит дублированных страниц? Это значит, что на страницу с определённым содержанием можно выйти по разным адресам. Несколько ссылок ведут на одну и ту же страницу.

При добавлении статьи на сайт под управлением WordPress, обычно используются как категории, так и меткиили теги. Теги создают дубликаты страниц, которые также индексируют поисковые системы.

И поисковые системы воспринимают такие ссылки как повторяющийся контент. А за это, как известно, поисковая система может наложить фильтр, выйти из-под которого бывает порой не только очень сложно, но и не возможно.

Если у вас блог или сайт работает под управлением WordPress, то вы должны задаться вопросом -  как запретить индексацию тегови как запретить индексацию категорий?

Чтобы запретить индексацию дублей для  WordPressможно использовать два пути:

  1.  Использовать файл  robots.txt
  2. Установить плагин "All in One SEO"

Очень важно для вашего сайта правильно использовать файла robots.txt. В нем не должно содержаться ошибок. Почему? Потому что поисковые системы сначала проверяют наличие файла robots.txt в корневой директории Вашего сайта. В этом файле указываются специальные правила индексации для вашего сайта.

Где расположен файл robots.txt? Файл robots.txtрасположен в корневой директории вашего сайта, где должен быть только один файл robots.txt:

  • Адрес сайта → http://site.com/
  • Адрес файла robots.txt → http://site.com/robots.txt

Написан файл robots.txt должен быть в нижнем регистре, и создан в кодировке UTF-8.

Чтобы запретить или разрешить индексацию нужно использовать правила Disallowили Allow:

  • Disallow→ запрещает индексирование.
  • Allow→ разрешает индексирование.

Для правила Disallow есть небольшое замечание - со слешем и без слеша на конце:

  • Disallow: /upload/ — правило актуально только  для папкиupload
  • Disallow: /upload — правило актуально для папки и файловupload

Ниже представлен файл robots.txt рекомендуемый WordPress:

User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: /category/*/*
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /*?
Allow: /wp-content/uploads/

или доработанный вариант

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /archives/
Disallow: /category/
Disallow: /search/ 
Disallow: /page/
Disallow: /tag/
Disallow: /xmlrpc.php
Allow: /wp-content/uploads
Host: www.site.com
Sitemap: http://www.site.com/sitemap.xml 

С введением поисковиками Google, Yahoo и Bing тега «canonical» надобность в запрете посредством robots.txt lдля них отпала

Страница с контентом просто должна содержать тег:

<link rel="canonical" href="http://www.site.com/post" />

Если все это для вас весьма сложно и непонятно, или у вас нет ни времени ни желания разбираться и настраивать все это своими руками, то как хорошая альтернатива всему этому может выступать установка плагина «All in One SEO Pack».

Плагин «All in One SEO Pack» по праву входит в список плагинов, обязательных к установке на блоге под управлением WordPress. Ведь плагин «All in One SEO Pack» дает пользователю полный контроль над заголовками страниц и мета-тегами.

Установите плагин, и включите первый чекбокс в положение "Подключить". Далее выберите нужные настройки.

К особенностям плагина «All in One SEO Pack» можно отнести:

  • Включенная позиция Canonical URLs решает проблему дублированного контента.
  • Автоматическое генерирование основных заголовков страниц.
  • Автоматическое генерирование мета-тегов.
  • Возможность переопределять основные заголовки страниц.
  • Возможность по своему усмотрению устанавливать мета-описания и ключевые слова.

Для того, чтобы запретить индексацию дублей для WordPress посредством плагина «All in One SEO Pack»нужно активировать чекбоксы:

  • Использовать параметр 'noindex' для рубрик
  • Использовать параметр 'noindex' для архива
  • Использовать параметр 'noindex' для архива меток

Останется только пролистать страницу настроек до конца и щелкнуть по синей кнопке «Обновить настройки».

 

Реклама
Поделиться
Качественные премиум темы и шаблоны для Вашего сайта:

Смотреть полный каталог качественных тем и шаблонов

Здесь Вы можете выбрать из более чем 46 000 готовых дизайнов. Шаблоны сайтов + установка + хостинг + персонализация + поисковая оптимизация + копирайтинг — все эти услуги вы всегда можете получить от профессионалов мирового уровня!

5 комментариев

  1. Антон13/01/2015
  2. megapolisnp21/01/2014
  3. Саша29/12/2013
  4. alexxx16/03/2013

Добавить коментарий

три + 13 =