Googlebot - это программа-бот, которую Google использует для сканирования более 20 миллиардов страниц каждый день. Данные, полученные во время сканирования, затем анализируются и оцениваются в поиске Google.
Я отслеживаю геолокацию каждого участника (используя db-ip), и все в порядке, кроме мобильных телефонов с браузером Chrome. Они всегда дают мне результат US Mountain View California ip:66.249.xxx.xxx. Это гугл; Я на 100% уверен в этом. Но человек, который посещает сайт, - это я. Я даже не в США; Я...
Как предотвратить отображение файлов моего XML-файла в результатах поиска Google, например, в результате site:поискового запроса: Я не понимаю, почему Google решил показывать файлы карты сайта в результатах поиска для начала. Эти файлы не предназначены для потребления человеком. Google должен иметь...
Много было сделано из частоты ползания паука Baidu. Это правда: «Baiduspider ползает как сумасшедший». Я испытал это явление на сайтах, с которыми я работаю. По крайней мере, в одном случае я обнаружил, что Baiduspider сканирует примерно с той же частотой, что и робот Googlebot, несмотря на то, что...
Неделю назад я добавил файл robots.txt на один из моих сайтов, что должно было предотвратить попытки робота Google получить определенные URL-адреса. Однако в эти выходные я вижу, как робот Google загружает эти точные URL-адреса. Кэширует ли Google файл robots.txt и, если да, то...
Каждый раз, когда я создаю адаптивный веб-сайт, я обычно создаю 2 меню: 1 скрытое и используемое для мобильных устройств, а другое отображается как главное меню, а затем скрывается для отображения мобильного меню. Всякий раз, когда речь заходит о SEO и о том, как пауки перемещаются по веб-сайту,...
Вот один из моих клиентов, выполнивший некоторые действия после входа в свою учетную запись. Уникальный токен - это просто зашифрованный идентификатор пользователя + метка времени. 94.254.xxx.xxx - - [02 / Jul / 2011: 22: 25: 46 +0200] "GET / some-action / unique-token-123abc HTTP / 1.1" 200 410...
Я видел код, подобный тому, как Google не индексирует часть страницы: <p>This is a paragraph that will be indexed by Google.</p> <!--googleoff: index--> <p>This is a paragraph that will NOT be indexed by Google.</p> <!--googleon: index> Это...
В настоящее время я перенаправляю все не-HTTPS-соединения на HTTPS и поддерживаю TLS v1, TLS v1.1 и TLS v1.2. Я перенастроил свой тестовый сервер так, чтобы он принимал только очень ограниченный и безопасный набор шифров и только TLSv1.2. После запуска теста SSL Labs я заметил, что их диаграмма...
Контекст: у нас есть веб-сайт, доступный в нескольких языковых версиях. Тем не менее, содержание то же самое. Каждая переведенная версия сайта доступна на отдельном поддомене. На некоторых страницах мы используем, <link rel="canonical" />чтобы указать каноническую версию на том же языке той...
Я заметил, что Google Webmaster Tools сообщает о большом количестве заблокированных ресурсов на моем веб-сайте. Прямо сейчас все "заблокированные ресурсы" - это .css, .js и изображения (.jpg, .png), которые я обслуживаю из Cloudfront CDN. Я потратил много времени на тестирование и пытался выяснить,...
Написав несколько ботов и увидев огромное количество случайных ботов, которые сканируют сайт, я задаюсь вопросом, как веб-мастер, каких ботов действительно стоит пускать на сайт? Сначала я подумал, что размещение ботов на сайте потенциально может принести на него реальный трафик. Есть ли какая-либо...
У меня было несколько личных файлов в папке в школьной папке. Вы можете увидеть, что файлы существуют, перейдя по адресу myschool.edu/myusername/myfolder, но попытка получить доступ к самим файлам через myschool.edu/myusername/myfolder/myfile.html возвращает ошибку 403. И все же Google каким-то...
Я наткнулся на эту статью в моих новостях SEO сегодня. Кажется, подразумевается, что вы можете использовать Noindex:директивы в дополнение к стандартным Disallow:директивам в robots.txt . Disallow: /page-one.html Noindex: /page-two.html Похоже, что это помешает поисковым системам сканировать первую...
Если у меня есть контент за формой POST (в моем случае это поле выбора), сможет ли робот Googlebot или другие поисковые роботы сканировать контент за этой формой? Например, если бы у меня было 4 перевода одной страницы, и выбор языка представлял собой форму POST для того же URL-адреса, которая...
Когда SPDY доступен для сайта, использует ли его робот Google? Если это так, сайты, на которых включена поддержка SPDY, будут быстрее отображаться роботом
Если я встраиваю изображение в страницу как img- srcс URI данных base64, остаются ли метаданные изображения (EXIF, IPTC, XMP) доступными для Google
Так что теперь Google отказался от схемы сканирования AJAX . Они говорят, что не стоит внедрять его на новых веб-сайтах, потому что он больше не нужен, поскольку у робота Google теперь нет проблем с просмотром динамического контента. Должны ли мы немедленно доверять этому утверждению или лучше...
Я выполнил переход с http: // на https: // для большого сайта с более чем 2 миллионами URL, проиндексированных в Google. Как уже упоминали другие, я также испытываю небольшие колебания органического трафика (-10% по данным Google Analytics). То, что я сделал до сих пор: 301 перенаправление с HTTP...
Сегодня я натолкнулся на пару веб-сайтов, которые утверждают, что повысили индекс вашего сайта за считанные дни. Есть тысячи обзоров, и все они кажутся довольно положительными, демонстрируя результаты и прочее. Я понимаю, что это могут быть роботы поисковых систем и бесполезные ссылки, которые...
Я публикую расписание на моем сайте. Например, в прошлом году я опубликовал Number 2 bus Summer 2013 timetable. У меня довольно хороший рейтинг в поисковой выдаче Google дляnumber 2 bus timetable Но в этом году я добавил новую страницу с названием «Номер 2 автобусного расписания 2014 года». Когда...