Когда вы перемещаете сайт с помощью перенаправления 301, вы должны настроить robots.txt, запрещающий роботам сканировать старый адрес?

8

Сайт, над которым я работаю, переместил поддомен в другой поддомен с помощью перенаправления 301. Однако при проверке файла robots.txt старого поддоменов у него есть файл robots.txt, который запрещает поисковым роботам сканировать его.

Это правильный ход? Я считаю, что нет, потому что сканеры не смогут сканировать старый сайт, чтобы увидеть коды статуса 301.

seo redirects robots.txt коврик
источник
3
Был ли запрет уже на месте до переезда? Некоторые сайты не хотят быть в поисковых системах. Неясно, каким образом ситуация разыгралась.
user64742

Ответы:

11

Ваши подозрения верны, с точным обоснованием, которое вы упомянули. Если вы запретите роботам получать доступ к старому сайту, они не смогут увидеть перенаправление 301.

Тео ван дер Зее
источник
Означает ли это также, что сок ссылок, который указывал на старый домен, не будет перенесен в новый домен, потому что robots.txt не позволяет сканировать Gbot?
коврик мальчик
1
Да, это именно то, что произойдет, если robots.txt блокирует доступ к ботам.
Тео ван дер Зее
5

Я считаю, что нет, потому что сканеры не смогут сканировать старый сайт, чтобы увидеть коды статуса 301.

Да, именно - это не «правильный ход». Если вы реализуете перенаправление 301, предположительно для сохранения SEO, то блокирование перенаправляемых URL-адресов приведет к тому, что поисковые системы не увидят перенаправление и не проиндексируют новый контент.

DOCROOT
источник
Означает ли это также, что сок ссылок, который указывал на старый домен, не будет перенесен в новый домен, потому что robots.txt не позволяет сканировать Gbot?
коврик мальчик
@mat boy, "ссылочный сок" редко обновляется, если когда-либо. Он вряд ли когда-либо будет обновлен до нового домена с файлом robots.txt или без него, но сохранение 301 на неопределенный срок гарантирует, что ссылки окажутся в нужном месте.
Осьминог
1
@ Осьминог Вы, кажется, описываете «PageRank», а не «сок ссылок»? «ссылочный сок» - это просто общий / сленговый термин, описывающий пользу SEO от ссылок на одну страницу на другую.
DocRoot
1
@matboy Да, все верно, «сок ссылок» не будет перенесен на новый URL. Поскольку бот заблокирован от просмотра перенаправления, бот (поисковая система) не знает, что страница была перемещена в другое место. Старые URL-адреса упадут в поисковой выдаче и в конечном итоге исчезнут, в то время как новые URL-адреса должны будут создать свой SEO с нуля.
DocRoot
0

Я бы сохранил robots.txt как есть, но убедитесь, что на старых и новых страницах есть соответствующая версия тегов Canonical. Это поможет поисковой системе понять, что произошло.

Джейсон
источник
2
Как сканеры могут читать канонические теги на веб-странице, если вы говорите им не сканировать веб-страницу?
коврик мальчик