Я использую следующую строку в <head>моих сайтах в течение многих лет:
<meta name="revisit-after" content="3 days" />
Недавно я обнаружил, что это не один из мета-тегов, которые понимает Google, и я полагаю, что нет никакого смысла в том, чтобы включать его, и что это не принесло пользы в течение многих лет.
Как часто поисковые системы сканируют веб-сайт по умолчанию, и какие существуют надежные способы увеличить или уменьшить эту частоту?
Вы можете контролировать, насколько быстро Google сканирует ваш сайт, с помощью Инструментов Google для веб-мастеров .
Скорость сканирования вашего сайта определяет время, которое робот Google использует для сканирования вашего сайта при каждом посещении. Наша цель - тщательно просканировать ваш сайт (чтобы ваши страницы могли быть проиндексированы и возвращены в результатах поиска!), Не оказывая заметного влияния на пропускную способность вашего сервера. В то время как большинство веб-мастеров могут использовать настройку сканирования по умолчанию (т.е. никаких изменений не требуется, подробнее об этом ниже), у некоторых веб-мастеров могут возникнуть более специфические потребности.
Googlebot использует сложные алгоритмы, которые определяют, сколько нужно сканировать на каждом сайте, который он посещает. Для подавляющего большинства сайтов, вероятно, лучше выбрать параметр «Разрешить Google определять мою скорость сканирования», который используется по умолчанию. Однако, если вы являетесь опытным пользователем или сталкиваетесь с проблемами пропускной способности вашего сервера, вы можете настроить скорость сканирования на наиболее оптимальную для вашего веб-сервера скорость. Настраиваемая опция скорости сканирования позволяет предоставить роботу Googlebot максимальное количество запросов в секунду и количество секунд между запросами, которые, по вашему мнению, лучше всего подходят для вашей среды.
Робот Googlebot определяет диапазон значений скорости сканирования, доступных в Инструментах для веб-мастеров. Это основано на нашем понимании возможностей вашего сервера. Этот диапазон может варьироваться от одного сайта к другому и во времени в зависимости от нескольких факторов. Установка значения скорости сканирования ниже значения по умолчанию может повлиять на охват и свежесть вашего сайта в результатах поиска Google. Однако установка более высокого значения, чем значение по умолчанию, не улучшит ваш охват или рейтинг. Если вы установите настраиваемую частоту сканирования, новая скорость будет действовать в течение 90 дней, после чего она сбрасывается до рекомендованного Google значения.
Вы можете использовать этот параметр только для сайтов корневого уровня и сайтов, размещенных не на большом домене, например blogspot.com (для них назначены специальные настройки). Чтобы проверить настройку скорости сканирования, войдите в Инструменты для веб-мастеров и перейдите на вкладку Настройки. Если у вас есть дополнительные вопросы, посетите Справочный центр для веб-мастеров, чтобы узнать больше о том, как Google сканирует ваш сайт, или опубликуйте свои вопросы на Справочном форуме для веб-мастеров.
Кроме того, вам, вероятно, потребуется создать собственную систему фильтрации, которая отслеживает их пользовательские агенты и разрешает или запрещает роботы поисковых систем на основе их пользовательского агента. Но это повлияет только на уменьшение их частоты.
Чтобы ответить на вторую часть вашего вопроса, вы можете сообщить Google с помощью Инструментов для веб-мастеров
Чтобы изменить скорость сканирования:
На домашней странице Инструментов для веб-мастеров выберите нужный сайт.
Под Конфигурация сайта, нажмите Настройки.
В разделе «Скорость сканирования» выберите нужный вариант.
https://www.google.com/support/webmasters/bin/answer.py?answer=48620&hl=en_GB
В Bing FAQ он ссылается на этот пост, в котором рекомендуется установить Crawl-Delay: Xгде x - количество секунд ожидания между каждым запросом.
Конечно, карты сайта показывают, как часто меняются страницы.