Вопросы с тегом «web-crawler»

30
Имеет ли компания право сканировать мой веб-сайт?

Я обнаружил, что McAfee SiteAdvisor сообщил о моем веб-сайте как «возможно, проблемы с безопасностью» . Меня мало волнует, что McAfee думает о моем веб-сайте (я могу защитить его сам, и если нет, то McAfee определенно не та компания, за которую я бы обратился за помощью, большое спасибо). Что меня...

12
Как сайты обнаруживают ботов за прокси или сетями компании

Как крупные сайты (например, Википедия) имеют дело с ботами, которые находятся за другими IP-маскировщиками? Например, в моем университете все ищут Википедию, что создает для нее значительную нагрузку. Но, насколько я знаю, Википедия может знать только IP-адрес университетского маршрутизатора,...

10
Поиск всех диапазонов IP-адресов, принадлежащих конкретному провайдеру

У меня проблема с неким человеком, который продолжает агрессивно чистить мой сайт; тратить трафик и ресурсы процессора. Я уже внедрил систему, которая отслеживает журналы доступа к моему веб-серверу, добавляет каждый новый IP-адрес в базу данных, отслеживает количество запросов, сделанных с этого...

8
Как эти «плохие боты» находят мой закрытый веб-сервер?

Я установил Apache некоторое время назад, и быстрый просмотр моего access.log показывает, что подключаются все виды неизвестных IP-адресов, в основном с кодом состояния 403, 404, 400, 408. Я понятия не имею, как они находят мой IP, потому что я использую его только для личного использования, и...