Мой блог на WordPress полностью клонирован. Этот сайт-клон обновляется в реальном времени с помощью моего блога. Я удивлен, что кто-то действительно может это сделать.
Что я должен сделать, чтобы остановить вредное влияние в моем рейтинге поисковых систем? Есть ли способ сказать Google не индексировать этот сайт?
wordpress
scraper-sites
Танвир Хасан
источник
источник
Ответы:
Они просто загружают ваш сайт через серверный скрипт. Все, что вам нужно сделать, это заблокировать IP-адрес своего сервера через .htaccess. Просто откройте журналы доступа вашего сервера, откройте клонированную страницу на их сайте, затем просмотрите журнал для новой записи, и вы получите их IP-адрес.
Также не помешает отправить запрос DMCA в Google, но в этом нет необходимости, так как этот контент мгновенно исчезнет, как только вы заблокируете их IP-адрес.
источник
(В дополнение к ответу @ Джона.)
Скорее любопытно, что, хотя они, кажется, клонировали все (включая ваши файлы сайта XML * 1 ), они не клонировали ваш файл robots.txt. На самом деле robots.txt на этом сайте активно блокирует сканирование всего! Так что, похоже, ничего не поделаешь в этом отношении. Поиск по сайту в этом домене возвращает только пустой домен и уведомление о том, что он заблокирован robots.txt.
(Скорее любопытно, что они намерены сделать при этом? Возможно, вы могли бы просто предположить, что они допустили ошибку с robots.txt - и это может быть так - но это больше похоже на намеренное исключение для меня?)
Кроме того, хотя ваши XML-карты сайта клонированы, они не обновляют URL-адреса в них (как это происходит на главных страницах сайта), поэтому они по-прежнему указывают на ваш сайт.* 1 Относительно карты сайта XML. На вашем сайте «sitemap.xml» фактически является перенаправлением на «sitemap_index.xml», и клонированный сайт фактически клонировал перенаправление ... которое перенаправляет обратно на ваш сайт! (Несомненно, ошибка с их стороны.) "Sitemap_index.xml" - это просто индекс, ссылающийся на 4 других файла Sitemap. Если какой-либо из этих фактических файлов Sitemap запрашивается непосредственно на клонированном сайте, они корректно клонируются и URL-адреса обновляются. Тем не менее, я бы сказал, что эти карты сайта вряд ли можно найти на клонированном сайте из-за первоначального перенаправления «sitemap.xml». (?) Хотя, если бы они отправили «sitemap_index.xml» напрямую, это, очевидно, обошло бы перенаправление.
источник
Если сайт генерирует обратные ссылки на вас, важно использовать инструмент Google Disavow, иначе алгоритм будет работать против вас, независимо от этого.
https://www.google.com/webmasters/tools/disavow-links-main
создать файл .txt и добавить:
затем загрузите его в Google с помощью Инструментов для веб-мастеров.
Вот именно те шаги, которые я предприму для решения этой проблемы. Я знаю, что многие веб-мастера сталкиваются с этой проблемой. У меня была эта проблема раньше, и, кажется, нет прямого ответа на Google (по иронии судьбы) (именно поэтому я хочу помочь). Мэтт Каттс - чувак, которого вы должны слушать об этих проблемах, но слушать его - все равно что пытаться выиграть партию в шахматы против суперкомпьютера в горящем доме (никакой помощи не найти).
Короткие Cutts:
Мой первый ответ состоял в том, чтобы дезавуировать домен, но я забыл упомянуть, что вам нужно дезавуировать:
(Google считает их двумя отдельными доменами).
источник