Можно ли использовать относительный URL карты сайта в файле robots.txt?

191

В robots.txt я могу написать следующий относительный URL для файла карты сайта?

sitemap: /sitemap.ashx

Или я должен использовать полный (абсолютный) URL для файла карты сайта, например:

sitemap: http://subdomain.domain.com/sitemap.ashx

Почему мне интересно

  • У меня есть новый сервис блогов, www.domain.com, который позволяет пользователям вести блог на accountname.domain.com.
  • Я использую подстановочные знаки, поэтому все субдомены (учетные записи) указывают на: «blog.domain.com».

В blog.domain.com я поместил robots.txt, чтобы поисковые системы могли найти карту сайта. Но из-за подстановочных знаков все учетные записи пользователей используют один и тот же файл robots.txt. Вот почему я не могу использовать второй вариант. И сейчас я не могу использовать перезапись URL для текстовых файлов. (Я полагаю, что более поздние версии IIS могут справиться с этим?)

seo sitemap robots.txt Easyrider
источник

Ответы:

318

Согласно официальной документации на sitemaps.org, это должен быть полный URL:

Вы можете указать местоположение файла Sitemap с помощью файла robots.txt. Для этого просто добавьте следующую строку, включая полный URL-адрес, в карту сайта:

Sitemap: http://www.example.com/sitemap.xml
ОООНР
источник
31
Обратите внимание, что пример @ unor имеет: Sitemap с заглавной буквы S. Это важно, так как Robots.txt чувствителен к регистру.
BodgeIT
19
robots.txt
Что
если сайт загружает https, URL-адрес файла Sitemap указывается с http. Это нормально? Или мы должны разместить URL карты сайта на основе протокола?
Шамс
4
@Shams: URL-адреса, перечисленные в вашей карте сайта, должны использовать тот же протокол и тот же хост, что и файл карты сайта. Если ваш сайт доступен в разделе http и https , вы должны предоставить только одну карту сайта (с каноническим вариантом) .
ОООНР
2

Сканеры Google недостаточно умны, они не могут сканировать относительные URL-адреса, поэтому всегда рекомендуется использовать абсолютные URL-адреса для лучшей возможности сканирования и индексации.

Поэтому вы не можете использовать этот вариант

> sitemap: /sitemap.xml

Рекомендуемый синтаксис

Sitemap: https://www.yourdomain.com/sitemap.xml

Примечание:

  • Не забудьте прописать первую букву в "карте сайта"
  • Не забудьте поставить пробел после "Sitemap:"
Дипак Матур
источник
-2

Хороший технический и логичный вопрос, мой дорогой друг. Нет в файле robots.txt, вы не можете пойти с относительным URL карты сайта; вам нужно перейти с полным URL-адрес карты сайта.

Лучше пойти с "карта сайта: https://www.example.com/sitemap_index.xml "

В приведенном выше URL после двоеточия даётся место. Мне также нравится поддерживать Дипак.

cstpl123
источник