Для веб-сайта с динамическим контентом (новый контент постоянно добавляется), должен ли я включать только самый новый контент в карту сайта или я должен включать все (с индексом карты сайта)? Каковы лучшие практики для файлов Sitemap ESP. для больших сайтов?
Кроме того, есть ли способ заставить Google (и другие поисковые системы) сканировать только страницы в карте сайта?
Благодарность
Обновление:
Кроме того, есть идеи, как это обрабатывает stackoverflow? Я хотел бы знать, но, к сожалению (также с пониманием ), они заблокировали доступ к своей карте сайта.
Ответы:
Включить все страницы. Цель XML-карты сайта - рассказать поисковым системам обо всем вашем контенте. Не только новые вещи.
С сайта sitemaps.org (выделено мое):
Если у вас много контента, вы можете использовать несколько XML-файлов сайта .
Если у вас есть контент, который вы не хотите сканировать или индексировать, вы должны специально указать поисковым системам не сканировать и не индексировать эти страницы. Используйте файл robots.txt, чтобы заблокировать любые страницы или каталоги, которые вы не хотите сканировать. Вы также можете использовать метатег для этого. Но вы не можете указать в XML-карте сайта, чтобы не сканировать незарегистрированные страницы.
источник
Using a Sitemap file won't reduce our normal crawling of your site. It's additional information, not a replacement for crawling. Similarly, not having a URL in a Sitemap file doesn't mean that it won't be indexed.