Стоит ли блокировать ботов с моего сайта и почему?

Мои журналы полны посетителей ботов, часто из Восточной Европы и Китая. Боты идентифицированы как Ahrefs, Seznam, LSSRocketCrawler, Yandex, Sogou и так далее. Должен ли я заблокировать этих ботов с моего сайта и почему?

Какие из них имеют законную цель в увеличении трафика на мой сайт? Многие из них являются SEO.

Я должен сказать, что вижу меньше трафика, если что-нибудь, так как боты прибыли в большом количестве.

Было бы не сложно заблокировать их, поскольку все они признают в своем пользовательском агенте, что они боты.

Вы можете заблокировать ботов, но это зависит от того, что вы хотите для своего сайта.

Вы можете заблокировать роботов поисковых систем, если вы не хотите, чтобы ваш сайт был проиндексирован в определенной поисковой системе.
Пример: Яндекс - русская поисковая система. Вы можете заблокировать его бота, если ваш бизнес не нацелен на Россию.

Вы можете заблокировать SEO-ботов, если не хотите использовать их решение для веб-аналитики.
Пример: Ahrefs - это решение для веб-аналитики. Вы можете заблокировать его бота, если не используете это решение для веб-аналитики.

Причина блокировки ботов:

• меньше роботов переходят на ваш веб-сайт и больше пропускной способности приписывается реальным посетителям
• быть в безопасности от вредоносных программ ботов
• размер бревен

Причина не блокировать ботов:

• Такие боты, как поисковые роботы, могут увеличить ваш трафик путем индексации вашего сайта.

Вы можете узнать больше о ботах, прочитав FAQ на robotstxt.org .

Если вы хотите определить несколько роботов для блокировки, вы можете черпать вдохновение на этом сайте robots.txt .

Будьте осторожны, некоторые боты могут игнорировать robots.txt , больше информации здесь .

Вывод : Вы можете выполнить поиск по функции интернет-роботов, чтобы определить, может ли быть полезной их блокировка.

Хотя попытка заблокировать ботов может помочь освободить ресурсы и очистить ваши логи, важно отметить, что robots.txt и даже использование мета-тега на страницах noindex на самом деле не мешает ботам посещать ваш сайт. Они по-прежнему могут время от времени сканировать ваш сайт, чтобы увидеть, был ли удален запрет от роботов. Многие боты даже не используют пользовательский агент и будут использовать стандартный пользовательский агент. Боты, о которых я говорю, - это, как правило, SEO-роботы, которые сканируют обратные ссылки, а не общие, которые вы найдете в поисковых системах.

Вместо того, чтобы блокировать ботов, вы должны просто учитывать эти боты при подсчете посетителей, а через некоторое время после активного мониторинга вашего сайта вы получите приблизительную цифру, то есть боты. Большинство людей заботятся об уникальных посещениях, и это исключает ботов, так как они постоянно возвращаются. В наше время существует множество серверов, разделяющих хостинг, которые могут обрабатывать этих ботов, кроме страниц, которые вы не хотите индексировать. Я не вижу причин, по которым нужно блокировать этих типов ботов. Конечно, у вас есть и вредоносные боты, но они точно не будут использовать пользовательский агент;).

Лично я считаю, что блокирование роботов - пустая трата времени, поскольку они не используют столько ресурсов вообще, SEO-роботы могут помочь, поскольку они размещают ваш сайт на страницах PR0, что, конечно, увеличивает ваш PageRank и там автоматически, так что вы не будете наказаны ими.

Логи Проблема

Вы должны использовать правильный просмотрщик журналов, который позволяет вам отфильтровывать определенные запросы, это облегчает просмотр ваших журналов. Хорошие зрители могут отфильтровать множество вещей, таких как обычные посещения, 404-е и так далее.