У меня есть вид узла, который имеет пейджер с параметром URL «страница». Я хочу, чтобы бот Google сканировал все страницы ( page=1
page=2
page=3...
), но рассматривал их как одну и только первую страницу (без параметра "page"), которая должна отображаться в результатах поиска.
На странице настроек веб-мастера я установил параметр URL для «страницы», как показано ниже, но теперь я получаю дублированный заголовок и описание.
Как этот параметр влияет на содержимое страницы:
Paginates
какие URL с этим параметром должен сканировать робот Googlebot:Every URL
Каков наилучший способ настройки параметра URL для "страницы" просмотров в Инструментах Google для веб-мастеров?
К сожалению, я не вижу настройки в Инструментах Google для веб-мастеров, чтобы сделать это, однако, вы могли бы сделать это в своем файле robots.txt, который поставляется с drupal, добавив внизу:
Disallow: / *? Page =
Disallow: / ? Page = & *
Disallow: / ? Page = 0
источник