Google сканирует сайты Drupal в режиме обслуживания?

10

Я использую Aegir для клонирования копий моего сайта под именем субдомена, т.е. test.mydomain.com. Эти копии находятся в режиме обслуживания, чтобы держать спамеров и посторонних глаз. Затем я использую эти копии для тестирования и разработки, прежде чем вносить изменения в мой основной сайт mydomain.com.

Но больно ли моему SEO SEO наличием этих клонированных сайтов? Google сканирует сайты, которые были переведены в режим обслуживания? Будет ли это наказывать меня за то, что у меня так много тупиковых поддоменов?

multi-sites maintenance-mode aegir Мэгги
источник
3
Похоже, что этот вопрос не по теме, поскольку он касается внутренних алгоритмов Google, а не чего-то конкретно связанного с Drupal, или того, что мы можем когда-либо знать с какой-либо значительной степенью уверенности.
Молот
7
@ Mołot Как это не может быть по теме? Режим обслуживания - это особенность Drupal. Есть методы для правильной обработки этого сценария. Спрашивать, правильно ли Drupal поступает, полезно для будущих читателей.
mpdonadio
2
@MPD, по крайней мере, часть "Будет ли это наказывать меня за то, что у меня так много тупиковых поддоменов", это абсолютно не связано с Drupal. Способы, которыми Google может быть перенаправлен на страницу в режиме обслуживания, в первую очередь также не связаны с Drupal.
Молот

Ответы:

21

Когда вы переводите сайт Drupal в режим обслуживания, не администраторы видят страницу стандартного режима обслуживания (при условии, что вы очистите кеши после этого). Если вы изучите ответ, вы увидите, что он отправляется обратно с кодом состояния HTTP 503, который из RFC 2616 :

503 Сервис недоступен
В настоящее время сервер не может обработать запрос из-за временной перегрузки или обслуживания сервера. Подразумевается, что это временное состояние, которое будет облегчено после некоторой задержки. Если известно, длина задержки МОЖЕТ быть указана в заголовке Retry-After. Если Retry-After не задано, клиент ДОЛЖЕН обработать ответ, как это было бы для ответа 500.

А из официального блога Google для веб-мастеров :

Если мой сайт закрыт на техническое обслуживание, как я могу сказать роботу Google возвращаться позже, а не индексировать страницу «не работает»?
Вы должны настроить свой сервер так, чтобы он возвращал состояние 503 (сеть недоступна), а не 200 (успешно). Это позволяет Googlebot знать, чтобы попробовать страницы позже.

Таким образом, это свидетельствует о том, что Drupal делает правильные вещи, и что Google повторно зайдет на ваш сайт и проиндексирует страницы, когда в следующий раз вернется код статуса, отличный от 5XX.

mpdonadio
источник
2
Страница входа пользователя будет продолжать возвращать код состояния 200 OK (а также отображать блоки и т. П., Которые обычно не видны в режиме обслуживания ( # 722434 )); однако robots.txt имеет директиву Disallow: для страницы входа в систему, поэтому боты с хорошим поведением все равно не будут ее индексировать.
Гаррет Олбрайт
Это хороший момент для самой страницы обслуживания, код ответа 503 означает, что Google не будет индексировать эту страницу обслуживания.
Дэвид Томас
6

Если вы не сделали что-то особенное, чтобы разрешить это, Google не сможет сканировать ваш сайт в режиме обслуживания.

Поскольку для просмотра необходимо войти в систему, googlebot увидит назначенную страницу обслуживания.

Дополнительные рекомендации от Google см. По следующим ссылкам:

Дэвид Томас
источник
Я думаю, дело в том, что вы не хотите, чтобы Google проиндексировал страницу обслуживания.
Fuzzy76
2

Ваши проблемы:

Если вы не знаете, блокирует ли режим обслуживания «все, что вы хотите, заблокировано» на 100% (!), Но в то же время очень беспокоитесь о том, «может ли кто-то, например, Google, по-прежнему иметь к нему доступ». ... тогда режим обслуживания может быть плохим выбором для блокировки вашего сайта разработки.

Рекомендация:

Лично я рекомендую просто добавить .htpasswd к вашим сайтам разработчиков.

Это просто автоматизировать даже внутри развертываний AEGIR. Это никогда не мешает вам, потому что ваш браузер и любой инструмент командной строки могут пропустить это для вас. Вы можете впустить других людей. Он блокирует сайт на 100% для Google и т. Д.

user18099
источник