Вопросы с тегом «user-agent»

У нас были некоторые серьезные проблемы с (невероятно) плохо написанным пауком в прошлом , и в результате мы заблокировали их. Марко Армент из Tumblr также поделился с нами своими разочарованиями 31.08.2009, что послужило причиной того, что мы заблокировали их. [Паук Yahoo] затопляет нас 70-200...

Есть бот Ask, который устанавливает этот заголовок: Mozilla/2.0 (compatible; Ask Jeeves/Teoma) Учитывая это, у меня есть следующие вопросы: Если я пишу веб-сканер с именем Goofy, какой пользовательский агент мне следует использовать? Какая разница, если я поставлю Mozilla/2.0или Mozilla/5.0? Любые...

Как мне интерпретировать пустой User-agent? У меня есть некоторый код аналитики, и этот код должен анализировать только человеческий трафик. У меня есть рабочий список User-агентов, обозначающий человеческий трафик и бот-трафик, но пустой User-agent оказывается проблематичным. И я получаю много...

Мои журналы полны посетителей ботов, часто из Восточной Европы и Китая. Боты идентифицированы как Ahrefs, Seznam, LSSRocketCrawler, Yandex, Sogou и так далее. Должен ли я заблокировать этих ботов с моего сайта и почему? Какие из них имеют законную цель в увеличении трафика на мой сайт? Многие из...

Пользовательский агент в любом обычном браузере содержит «бот» или «ползать»? Я проверяю пользовательский агент на своем сайте, чтобы узнать, идет он от бота или нет. Если это так, я могу сделать несколько небольших оптимизаций, поскольку они не входят в систему. (Я не изменяю содержание вообще)...

Я запустил небольшой веб-сканер и должен был решить, какой пользовательский агент использовать для него. Списки агентов поиска и Wikipedia предлагают следующий формат: examplebot/1.2 (+http://www.example.com/bot.html) Однако некоторые боты опускают знак плюс перед URL. И мне интересно, что это...

Могут ли пользовательские агенты быть перечислены вместе, а затем следовать их общим правилам, как в robots.txt ? User-agent: Googlebot User-agent: ia_archiver #Alexa User-agent: BingPreview #Microsoft User-agent: bingbot #Microsoft User-agent: MSNBot #Microsoft User-agent: Slurp #Yahoo User-agent:...

Записи журнала доступа Apache на моем сайте обычно выглядят так: 207.46.13.174 - - [31 / Oct / 2016: 10: 18: 55 +0100] "GET / contact HTTP / 1.1" 200 256 "-" "Mozilla / 5.0 (совместимо; bingbot / 2.0; + http: // www .bing.com / bingbot.htm) "0.607 MISS 10.10.36.125:104 0.607 так что вы можете...

У меня есть сайт, который по нормативным причинам не может быть проиндексирован или произведен автоматический поиск. Это означает, что мы должны держать всех роботов подальше и не дать им спайдеринг сайта. Очевидно, у нас был файл robots.txt, который запрещает все с самого начала. Однако наблюдение...

У меня есть специальное кодирование, которое работает только для браузеров HTML5 (простая геолокация). Я хочу перенаправить пользователей iPhone и Android на версию моего сайта m.example.com. Как лучше всего это сделать?...

Что вы используете для обнаружения мобильного телефона посетителя, вплоть до модели, если это возможно? В настоящее время мы поддерживаем собственную базу данных, но она действительно отстает из-за нехватки персонала для ее обслуживания, поэтому мы решили попробовать стороннее решение. Это мои...

(Вопрос щедрости внизу) У меня проблема с клиентом, обращающимся к нашему сайту, и основная причина в том, что WAF (брандмауэр веб-приложений) не нравится их строка User-Agent: User-Agent: Mozilla/5.0 (X11; Linux i686; rv:34.0; C7QcSBPWTsrpX5YLvVZMqiujEZLWPtOYk3tDZ9WhW18=) Gecko/20100101...