Спам-бот постоянно попадает на наш сайт 800-1000 раз в день. Причинение потери в продажах

8

В течение последних 5 месяцев наш сайт получал хиты с этих 4 сайтов ниже;

sheratonbd.com
newsheraton.com
newsheration.com
newsheratonltd.com

Как правило, точный URL, из которого они происходят, выглядит примерно так;

http://www.newsheraton.com/ClickEarnArea.aspx?loginsession_expiredlogin=85

Спам-бот заходит на нашу домашнюю страницу и остается там около 1 минуты, а затем существует. К счастью, у нас есть несколько довольно мощных серверов, поэтому мы еще даже не приблизились к перегрузке наших серверов. В прошлом месяце я начал блокировать IP-адреса спам-ботов, но они, кажется, продолжают получать новые каждый день. На данный момент я заблокировал более 200 IP-адресов, ниже приведены некоторые из них, которые я заблокировал. Все они из Бангладеш.

58.97.238.214
58.97.149.132
180.234.109.108
180.149.31.221
117.18.231.5
117.18.231.12

С тех пор, как это происходит в течение последних 5 месяцев, наш реальный трафик сайта начал падать, и каждый день наши заказы становятся все ниже и ниже. Кроме того, поскольку эти спам-боты просто заходят на нашу домашнюю страницу, а затем оставляют наш показатель отказов в аналитике стремительно растут.

Мои вопросы

Возможно ли, что эти спам-боты влияют на наш SEO? 60% наших заказов поступают от естественного поиска, и с тех пор, как все это началось, количество заказов постепенно снижалось.

По какой причине кто-то захочет тратить ресурсы на это на нашем сайте? IP-адреса не являются бесплатными и являются доменными именами. Какова цель сделать это для нас? У нас есть Google AdWords, но мы не размещаем рекламу в расширенных сетях и не размещаем рекламу в Бангладеш, поскольку мы не осуществляем там доставку, поэтому они не зарабатывают на AdSense.

Кто-нибудь испытывал что-либо подобное этому? Что вы делали и каков был финальный выход?

spam botattack high-traffic akaDanPaul
источник
3
Примечание: вместо запрета IP-адресов (что на самом деле не оказывает влияния, поскольку они каждый раз используют новый) лучше запретить более стабильный фактор (на основе вашего описания). В вашем случае - реферал. Вы можете создать простое правило, используя mod_rewrite для отмены всех запросов, которые имеют эти доменные имена в заголовке запроса реферера.
LazyOne
Спасибо за предложение использовать mod_rewrite, я изучал, как заблокировать ссылающийся URL, так как они продолжают получать новые IP. И теперь я знаю, еще раз спасибо!
akaDanPaul

Ответы:

12

Забавно, что это должно придумать, я столкнулся с подобной проблемой на работе сегодня! @HeatherWalters покрыл большинство хороших вещей, но есть несколько вещей, которые нужно добавить.

Вы можете заблокировать рефереры по доменам, используя следующий код htaccess: -

RewriteEngine on
# Options +FollowSymlinks
RewriteCond %{HTTP_REFERER} spammer-one\.com [NC,OR]
RewriteCond %{HTTP_REFERER} spammer-two\.com
RewriteCond %{HTTP_REFERER} spammer-three\.com
RewriteRule .* - [F]

Это перенаправляет их к 403 запрещенному ответу, который, я думаю, является наиболее эффективным способом решения проблемы с точки зрения нагрузки на сервер, так как это довольно маленький заголовок.

Существует несколько интересных идей о блокировке ключевых слов с помощью httpd или использовании mod_security , которые, возможно, стоит изучить.

@LazyOne'sОтвет на мой вопрос о наиболее эффективном способе сделать это указывает на то, httpd.confчто это был бы лучший вариант, чем .htaccessтот, который был бы загружен до mod_rewrite (я опубликую код, как только у меня будет время для тестирования).

Как ни странно, это вызывает проблемы в рейтинге SERP, я видел только два сайта с такой же серьезной проблемой, как ваша, и оба сообщили о потере органического поискового трафика, но я не нашел аналогичных отчетов в Интернете или чего-либо от Google, поддерживающего это понятие.

@DisgruntledGoatв своем комментарии ниже указывает, что показатель отказов в Google Analytics сам по себе не приведет к потере SERP. Однако публикация журналов реферера может привести к появлению ссылок на спам-сайты с вашего домена.

Вы можете отфильтровать результаты спама из своего аналитического отчета. BusinessHut предлагает хорошее руководство, в котором предлагается использовать несколько версий следующего фильтра: -

Filter Type: Custom > EXCLUDE 

Filter Field: Campaign Source Filter

Pattern: golbnet 

Case Sensitive: No

Это исключит любого реферера с текстом «golbnet» в любом месте ссылающегося URL. Чтобы исключить других рефереров, таких как forexmarket, вы можете создать другой фильтр, ИЛИ вы можете просто добавить «канал», который действует как оператор «ИЛИ». (например, шаблон фильтра: golbnet | forexmarket | что-нибудь другое) * Вы можете получить канал, нажав Shift и Backspace.

Он также отмечает, что, как и @Heather, вы всегда должны поддерживать нефильтрованный профиль.

toomanyairmiles
источник
Извините, что вы прошли через то же самое, и спасибо за предоставленный вами код htaccess, который я сейчас реализую. И я просто приму и ваш, и @Heather совет с Google Analytics. Еще раз спасибо!
akaDanPaul
спасибо и +1 за блокировку ключевых слов и ссылки mod_security! Очень информативный материал.
Хуза
Заблокируйте их своим предложением выше, теперь просто нужно надеяться, что наш естественный рейтинг поиска начнет расти. Спасибо за ваше понимание!
akaDanPaul
5

Рассматривали ли вы возможность того, что они посещают ваш сайт, надеясь, что вы узнаете, кто они такие, перейдя по ссылке (чтобы вы в конечном итоге посетили их спам-сайты ......... самые черные из SEO-блэкхетов)? Вы обращались к этой информации на сайтах исключительно через GA или просматривали журналы трафика вашего сайта? Может быть, они вообще не посещают ваш сайт, а подключаются к вашей учетной записи Google Analytics и вводят свои собственные «хиты» с помощью специального программного обеспечения для рассылки спама в надежде, что вы посмотрите на их ссылки (а побочный эффект заключается в том, что все Ускоренный показатель отказов влияет на ваш рейтинг в поисковых системах и, следовательно, на ваш реальный трафик. Пожалуйста, посмотрите на эту ссылку: спам реферера Google Analytics и обязательно прочитайте раздел комментариев.

Вы можете отфильтровать результаты этих аналитических отчетов, создав дубликат профиля, а затем добавив к нему фильтр, но я не уверен, что Google все еще «видит» их как хиты. Предположительно, спам-реферер не влияет на SEO, но я лично сомневаюсь в этом, если он заставляет ваш показатель отказов идти вверх.

возгласы ликования
источник
Спасибо за информативный ответ, я посмотрю предоставленную вами ссылку на спам Google Analytics. Я посетил их сайты, и они, по сути, просто 5-страничный сайт, написанный на другом языке без рекламы. Поэтому не уверен, почему они хотели бы, чтобы я посетил сайт. И да, я смотрел на это в GA и в журналах нашего сервера, поэтому они определенно посещают сайт ежедневно. Я просто надеюсь, что они скоро прекратятся, и наш SEO может снова начать расти.
akaDanPaul
Хм, на самом деле я немного поболтал по ссылке, которую вы указали для их сайта, и похоже, что у них есть какая-то схема «платят за клики», которую вы подписываете на их сайте. Таким образом, они 1) используют самые грязные из техник спам-ботов, чтобы привлечь трафик на их сайт и 2) пытаются заставить вас использовать самый дурацкий способ «зарабатывать деньги из дома», вкладывая средства в их чрезвычайно дурацкие ссылки, нажимая служба. Возможно, все попадания в день на самом деле вызывают DOS для реальных пользователей ... они хотят перейти на ваш сайт, но в то время слишком много запросов к серверу.
хуза
1
О, эти спаммеры постараются сделать все, чтобы заработать. Надеюсь, они понимают, что не делают на этом денег. Я позвонил нашему представителю Google AdWords, и она сняла информацию об их доменных именах.
akaDanPaul
1
Быстрое исправление: ваша аналитика имеет нулевой эффект от рейтинга в поисковых системах. Посещение одного сайта с другого, то «подпрыгивание» не может повлиять на SEO.
Рассерженная Стрелка
2
@toomany - это, как правило, результат того, что сайты публикуют журналы реферера, в результате чего они непреднамеренно ссылаются на спам-сайты.
Рассерженная шлюха
2

Я тоже пытался отследить это. Что бы они ни делали, они, похоже, меняют домены каждые пару недель или месяц. Это легко увидеть в нашей аналитике, отфильтровав трафик из Бангладеш (из которого мы получаем очень мало легитимного трафика).

В нашем случае трафик не влияет на продажи, но на пару порядков больше, чем видит OP.

Небольшое исследование обнаружило http://robotlancer.com/ , который позиционирует себя как «программное обеспечение, которое помогает подписчикам Dolancer / Skylancer / Newsheraton / Googleaddclick / Visionaddworld / Makegem автоматически нажимать на свои объявления». На одном из снимков экрана показан скрипт, который загружает и нажимает на рекламу. Из нашей аналитики кажется, что для каждой нагрузки используется произвольный пользовательский агент и ОС, что делает его похожим на человеческий трафик.

Все это, безусловно, пахнет чем-то вроде оплаты за мошенничество, но я не могу понять, что они делают, потому что нет никакого способа, которым они могли бы извлечь выгоду от нажатия на нашу рекламу!

Крис Мюллер
источник
0

Вы характеризуете это как «спам-бот», но симптомы выглядят для меня больше похожими на людей, щелкающих ссылки на ваш сайт на одном из «шератонских» сайтов, которые вы перечисляете. Видимо, вы получаете повторные попадания с каждого IP. Зачем человеку это делать? Вероятно, сайт продвигает идею о том, что пользователь может зарабатывать деньги, делая это (независимо от того, на самом деле они зарабатывают деньги или нет).

Зачем сайту нравится эта ссылка на ваш сайт? Это может быть ошибкой, но подумайте, если такой сайт имеет плохую репутацию для поисковых систем. Тогда это может негативно повлиять на вашу позицию на страницах результатов поиска, что приведет к снижению вашей позиции и, соответственно, к вашим обычным результатам поиска. Причина, по которой сайт, на который можно щелкнуть по ссылке, может ссылаться на вас, заключается в том, чтобы получить плату за этот эффект от того, кто этого хочет, например, от конкурента.

mgkrebbs
источник
en.wikipedia.org/wiki/Referer_spam
toomanyairmiles
Спам-реферер, кажется, легко предотвратить или, по крайней мере, сделать неэффективным. Поисковые системы сканируют ваши журналы, кажется, очень хорошая вещь, чтобы избежать по этой и другим причинам.
mgkrebbs
+1 за ключевой момент: боты почти никогда не запускают Javascript, как GA.
Рассерженная Стрелка
Я подумал о том, что это может быть человеческий трафик, который обманным путем пришел на наш сайт. Однако, когда он только начинался, мы получали все эти обращения только с 10-15 разных IP-адресов. Однажды я заблокировал эти новые 10-15 IP-адресов, но в том же блоке. IE; 58,97,238,39 - 58,97,149,253. Я не очень много знаю о поставщиках услуг Интернета и о том, как они назначают пользователям свои IP-адреса, но я знаю каждый раз, когда покупаю IP-адрес у своего хостинг-провайдера, он всегда очень близок к текущему IP-адресу, который у меня уже есть. Так что я просто предположил, что это исходит из их центра обработки данных.
akaDanPaul