Как удалить дубли страниц replytocom на блоге | Заметки вебмастера






Удаляем дубли страниц replytocom на WordPress

дубли страниц на блогеДобрый день, друзья!

На связи с вами снова Сергей Саранчин. Сегодня очень-очень важная статья, которая просто не может остаться без внимания!

Ее просто обязан прочитать каждый блогер, который хочет продвинуть свой блог или сайт и в дальнейшем зарабатывать с помощью него приличные денежки.

Если вы ее не прочитаете и не примените на практике все методы, о которых я сейчас напишу, то существует большая вероятность похоронить свой веб-ресурс, так и не дождавшись положительных результатов. Результатов в виде увеличения посещаемости и дальнейшего повышения дохода.

Как бы печально это не звучало, но это так. Поверьте мне. Итак, не буду темнить. Давайте лучше сразу к делу!

Что такое дубли страниц и чем они опасны

Что может убить ваш блог? Одна из зараз, которая сможет стереть ваш блог в порошок- это дубли страниц (дублированный контент).

Дубли страниц это веб-страницы Интернет-ресурса с одинаковым контентом (текстом, ссылками и изображениями), но разными url-адресами.

Вы думаете, что такого не может быть? Зря! Может! И причем ваш блог на WordPress в состоянии их генерировать самостоятельно, если вы не настроите его правильным образом! Я сам в этом убедился, потому что мой ресурс, на котором вы сейчас читаете эту статью, наплодил тьму подобных страниц.

И одно дело, когда дубли просто присутствуют на блоге, но совсем другое, когда эти дубли проиндексированы поисковой системой и находятся в результатах поисковой выдачи!!! Вот тогда полный каюк!

Ну, а самая большая проблема в присутствии страниц-дублей в результатах выдачи это то, что они убивают уникальность ваших статей и плодят кучу исходящих ссылок.

Вот представьте. Например, Вы написали статью с уникальностью 98 % по Етхт и прыгаете от радости с надеждой, что она попадет в топ-10 или вообще в топ-5. А тут бац и появляется дубль этой страницы в выдаче. И что? А то, что ваш труд пропал. Она уже не ценится поисковиками!

Мало того с помощью подобных дублей можно легко угодить под фильтр поисковых систем, который называется Панда. Слышали о таком? Если нет, то переходите по ссылке на эту статью и читайте.

А если таких дублей полным-полно: у каждой статьи по нескольку десятков, то это просто жесть! Вот вам и ответ на вопрос, почему ваш блог не развивается…

Так было и у меня. Но сейчас ситуация меняется — дубли страниц покидают поисковую выдачу и мой ресурс освобождается от этой гадости. Посмотрите на скриншот количества проиндексированных страниц моего блога из инструментов для вебмастеров в Google:

изменения  индексирования дублей страниц

Как видите, их число со временем становится все меньше и меньше. Это говорит о том, что дубли постепенно исчезают из результатов поиска. За 2,5 месяца было выброшено из выдачи 476-360=116 дублированных страниц.

Дубли replytocom

Другая проблема дублей это появление большого количества исходящих ссылок. Возьмём, к примеру, дубли replytocom.

Дубли replytocom – это дубли страниц, которые появляются на блоге под управлением системы WordPress при включении функции древовидных комментариев в настройках для обсуждения

Включение функции древовидных комментариев

Итак. Например, к одной из ваших статей читатели оставили 20 комментариев. У вас на WordPress включены древовидные комментарии и, к тому же, неправильно настроен блог.

Поэтому каждый комментарий читателя с заветной кнопкой «ответить» рождает одну страницу-дубль с одинаковым содержанием, но другим url-адресом вида:

 http://saranchinsergey.ru/saitostroenie/kak-ustanovit-shablon-na-sayt/?relytocom=182

Итого у вас уже 20 комментов = 20 страниц-дублей, так как каждая кнопка «Ответить» рождает новый дубль replytocom. Но это еще полбеды.

Почти у всех комментаторов есть свои сайты или блоги, поэтому многие из них прописали свою ссылку автора в комментарии. Предположим, из 20 комментаторов прописали ссылки на свои веб-ресурсы 15 человек.

И кстати, совсем не важно то, что эти ссылки закрыты у вас на блоге в nofollow или noindex. Это все фигня!

Это были, есть и будут исходящие ссылки до тех пор, пока вы их не закроете от индексации с помощью скрипта или не избавитель вообще от этих ссылок.

Продолжим подсчеты. 20 страниц-дублей умножаем на 15 исходящих ссылок на каждой странице и получаем 300 исходящих ссылок! И это только с одной статьи!!! И при таком небольшом количестве комментариев!!! Охренеть! Смотрите, какая картина по исходящим ссылкам была у меня вначале:

исходящие ссылки на сайте до удаления

3201 исходящая ссылка с моего блога! После того как я принял меры по устранению дублей replytocom и не только ситуация изменилась в лучшую сторону. Вот количество ссылок на сегодняшний день:

исходящие ссылки с сайта после удаления

Результат на лицо! 3201-2575=626 ссылок покинули мой блог! Но хочу отметить, что я еще не полностью освободил свой ресурс от этих проклятых дублей!

Как вычислить дубли страниц на блоге

Итак. Мне кажется, вы хотите знать ответ на этот вопрос. Иначе бы просто не стали читать данную статью до этого момента. Как я уже говорил, дубли страниц replytocom образуются в случае включения функции вывода древовидных комментариев и выставлении запретов для робота в robots.txt вот такого вида:

 Disallow: /*?*
 Disallow: /*?
 Disallow: /*?replytocom
 Disallow: /?replytocom

Определить дубли в результатах поиска Google достаточно просто. Введите в адресную строку эту команду по аналогии с моей и нажмите «Поиск»:

 site:saranchinsergey.ru replytocom

Затем нажмите ссылку «Показать скрытые результаты»:

Показать скрытые результаты в индексе

Вверху под поисковой строкой появится количество проиндексированных страниц на вашем блоге. Вычтите из этого числа общее количество статей, опубликованных вами. Результатом будет приблизительное число страниц-дублей вашего блога в поисковой выдаче.

Но фишка в том, что существует несколько разновидностей дублированных страниц.

Заметьте также, что про Яндекс я молчу. Дело в том, что он лояльнее относится к дублям и не забирает их в индекс, следуя указаниям в robots.txt. Трафик снижается, но не так как в Google.

Поисковая система Google просто стирает ваш трафик в порошок, не оставляя от него и следа. Например, было 2000 посетителей в сутки (согласно статистики посещаемости), а с дублями станет 200 уников! Жесть! Кстати, присутствие дублей на блоге вы сможете определить по количеству загруженных страниц в Яндекс. Вебмастер:

загружено страниц роботом Яндекса

Видите, как резко изменилось число загруженных страниц моего блога роботом Яндекса, после того как я начал бороться с дублями. Было, как видите 758 страниц, а стало 125! Теперь поисковому роботу намного легче сканировать мой блог. Более чем в 5 раз меньше страниц!

Удаляем дубли страниц replytocom из поисковой выдачи

Если вы обнаружили наличие дублей replytocom, то нужно от них избавляться. Первым делом зайдите в файл robots.txt своего блога и удалите запреты, о которых я писал выше.

Тем самым вы разрешите роботу беспрепятственно заходить на страницы replytocom, и его будет встречать вот такой код:

 <meta name="robots" content="noindex,follow" />

Данный код как раз и выставляет запрет роботу на добавление страницы в индекс, в то время как robots.txt и его запрет вида Disallow….. просто рекомендует не забирать данную страницу в результаты выдачи. Чувствуете разницу? – выставляет запрет и рекомендует?

Таким образом страница дубля не попадёт в индекс!

А для того, чтобы исключить эти страницы из индекса можно использовать 301 редирект. Просто добавьте в файл .htaccess вот этот код:

 RewriteCond %{QUERY_STRING} ^replytocom= [NC]
 RewriteRule (.*) $1? [R=301,L]

Теперь если вы введете в адресную строку ссылку на страницу дубля replytocom, вас автоматически перекинет на основную страницу. И поисковый робот таким же образом будет перенаправлен на главную страницу. Если вы уже прописали этот код, то можете сами проверить его работоспособность.

Можно, кстати, вместо редиректа вставить в файл functions.php сразу после <?php вот этот код:

 add_filter('template_redirect','Redirect404');
 function Redirect404()
 { 
 if ( isset( $_GET['replytocom'] ) ) {
 @header("HTTP/1.0 404 Not Found");  
 die();
 }
 }

В этом случае при посещении поисковым роботом страницы дубля replytocom будет выдаваться код ответа сервера — 404 (страница не найдена). Такие веб-страницы исключаются из результатов поисковой выдачи (индекса).

Кроме этого вам нужно зайти в настройки системы WordPress и убрать метку с пункта «Разбивать комментарии верхнего уровня на страницы…»

Если Вы не желаете расставаться с функцией древовидных комментариев, то Вам нужно на всякий случай закрыть кнопки «Ответить» которые создаются при помощи этой функции.

Это можно осуществить с помощью установки плагина WordPress Thread Comment или закрытия этих ссылок через тег <спан>. Установка плагина — наиболее простой способ.

Теперь при установленном плагине и наведении на кнопку «Ответить» вы будите видеть следующий код:

вывод скрипта ответить

Если появились какие-то проблемы с установкой и настройкой данного плагина, обращайтесь в комментариях и я помогу.

Да и кстати. Проверьте ещё один момент! Зайдите в панель инструментов для вебмастера Google — Сканирование — Параметры URL и проверьте, чтобы у вас была именно такая настройка для replytocom:

replytocom на усмотрение робота

Если у вас выставлены другие параметры, то нужно нажать ссылку «Изменить» и прописать следующее:

параметры сканирования страниц дублей replytocom

Не забудьте сохранить эти настройки. Вот теперь всё! Вы можете ждать переиндексации своего блога и полного удаления всех дублей replytocom из поисковой выдачи.

Но не спешите радоваться! Как я уже говорил ранее, дубли replytocom это не единственные страницы-убийцы вашего блога! Подобных страниц ещё тьма тьмущая! И их нужно в срочном порядке уничтожить, пока они не сделали то же самое с вашим блогом.

Но об этом я буду рассказывать в другой своей статье про удаление других дублей страниц и показывать свои результаты. До встречи, друзья!

Успехов Вам и Удачи
С Уважением,


Книга о заработке в интернете:
Книга о заработке в интернете

Комментариев к статье: 28

  1. Иван Бизюк:

    Полезная статья, чем раньше про это узнаешь тем лучше.

    Ответить

    • Aleksandr:

      Это верно, у меня комментарии создали много дублей!

      Ответить

      • Alexandr:

        Самый простой рецепт не делать комментарии древовидными.

        Ответить

    • Alexandr:

      Не знал, как найти дубли через Google. Сейчас буду вооружён знаниями этой статьи.

      Ответить

  2. Алиса:

    Ой, жуть какая, аж волосы дыбом встали, такое количество, катастрофа просто! Пишешь себе уникальные статьи, не трогаешь никого, а у тебя столько мусора. Кошмар! Да, ведя блог необходимо постоянно об этом читать узнавать и исправлять. Времени на это уходить будет конечно, но по другому никак.((

    Ответить

    • Сергей Саранчин:

      Да, желательно это узнать перед тем как начинать создавать свой блог или сайт. В таком случае будут меньше проблем и ресурс будет развиваться совсем по-другому с первых дней своего существования!

      Ответить

      • Alexandr:

        Говорят, что из результатов поиска Google долго страницы выводятся. Это так?

        Ответить

        • Сергей Саранчин:

          Действительно, это так! Google очень редко посещает страницы, которые находятся в дополнительных результатах выдачи. Отсюда и следует их медленное удаление из индекса… :shock:

          Ответить

          • Alexandr:

            Сергей, спасибо за ответ. Вопрос такой, во время следующей индексации Google все replytocom удалит? Или часть удалит из индекса, а часть оставит?

            Ответить

          • Сергей Саранчин:

            Рад был помочь. Всё зависит от количества дублей этого вида на вашем блоге. Поисковой робот проводит на ресурсе определённое время, которое ему отведено, а потом удаляется :smile:

            Ответить

          • Alexandr:

            Понял. Параметр времения не учёл. Сколько сможет столько за отведённое время робот удалит дубли. Остальные потом.

            Ответить

          • Alexandr:

            Где то прочитал что Гугл около сотни страниц за заход проверяет, негусто.

            Ответить

  3. Алиса:

    Древовидные комментарии мне всегда нравились. Хорошо, что плагин есть решающий данную проблему.

    Ответить

    • Сергей Саранчин:

      В принципе, если всё правильно настроить, то и плагин этот не будет нужен. Также можно использовать скрипт.

      Ответить

      • Alexandr:

        Плагин удобнее, настройка требует времени и знаний. Не всегда есть в наличии.

        Ответить

  4. Aleksandr:

    Я вот на новом блоге применил Дискус чтобы не было реплитукомов от комментариев!

    Ответить

    • Сергей Саранчин:

      Хотелось бы узнать, Александр, что такое «Дискус»? :smile:

      Ответить

      • Alexandr:

        Наверно плагин особенный для удаления дублей.

        Ответить

  5. Alexandr:

    Дубли страниц генерирует не только всеми нами любимый WordPress, но и другие движки: Друпал, Джумла и даже Битрикс. С заразой дублей бороться нужно обязательно. Статья нам в помощь в этом непростом деле.

    Ответить

  6. Bogutskiy:

    Спасибо Автору) Не считаю себя новичком! Но именно плагин и создал проблему с replytocom( только пол года как перенес блог на WordPress! Увы еще не изучил таких моментов! Вроде сейчас все подлечил…

    Ответить

    • Сергей Саранчин:

      :cry: Рад, что моя инфа пригодилась!

      Ответить

  7. Bogutskiy:

    Вот вроде бы все сделал, но когда проверяю дубли есть. Делал через .htaccess с 301 редиректом! Может чего не так сделал!?

    Ответить

    • Сергей Саранчин:

      А где именно проверяете дубли? Если в поисковой выдаче, то необходимо учесть, что они удаляются из индекса через некоторое время после переиндексации…

      Ответить

      • Bogutskiy:

        Ну да! Проверяю через поиск…

        Ответить

  8. Виталий Охрименко:

    Мне очень понравилась работа плагина wordpress by yoast, там эта ошибка с дублями решается одной галочкой

    Ответить

    • Bogutskiy:

      У меня тоже стоит йост… но он меня не уберег

      Ответить

  9. Александр Макаров:

    У меня блог пока молодой, но лучше быть во всеоружии. Скажите, что лучше сделать с этими дублями, поставить плагин seoby by yost и я как понял он ставится вместо all in one seo pack ?

    Ответить

    • Сергей Саранчин:

      Александр, лучше выполнить действия, указанные в моей статье и дубли постепенно исчезнут из выдачи :oops:

      Ответить


НАПИШИТЕ СВОЙ ПЕРВЫЙ КОММЕНТАРИЙ НА ЭТОМ БЛОГЕ И ПОЛУЧИТЕ ПОДАРКИ!

Нажимая кнопку "ОТПРАВИТЬ" комментарий, Вы принимаете пользовательское соглашение и подтверждаете, что ознакомлены и согласны с политикой конфиденциальности этого сайта.

;-) :| :x :twisted: :smile: :shock: :sad: :roll: :razz: :oops: :o :mrgreen: :lol: :idea: :grin: :evil: :cry: :cool: :arrow: :???: :?: :!: