Я закончил свой веб-сайт и запустил его, я думаю, у меня были проблемы с моим robots.txt
- поэтому я изменил его, чтобы выглядеть так:
03/08/2012
# Allows all bots
Sitemap: http://www.mysite.co.za/sitemap.xml
User-agent: *
Disallow: /dashboard/
Когда я гуглю свою domain.co.za
- я получаю это обратно: Главная
A description for this result is not available because of this site's robots.txt – learn more.
You've visited this page 3 times. Last visit: 2012/08/15
Теперь , так как я это исправил и добавил 301 редирект редирект , mysite.co.za
чтобы www.mysite.co.za
я хотел бы его , если Google бот пришел бы посетить.
Что я могу сделать, чтобы это исправить?
Ответы:
Дейв прав на деньги (виртуальный +1, так как мой счет все еще слишком низок)
Пожалуйста, сделайте следующее
Это ускорит процесс, но не ожидайте мгновенных результатов.
источник
Теперь вы можете использовать инструмент "Получить как Googlebot" в Инструментах Google для веб-мастеров, чтобы убедить Google повторно сканировать (или сканировать в первый раз) страницу - http://googlewebmastercentral.blogspot.co.uk/2011/ 08 / Submit-URLs к Google-с-выборки-as.html
источник
Вы должны также закомментировать (префикс с
#
) первую строку.Google должен перезапустить ваш файл robots.txt довольно быстро (в течение нескольких дней, в зависимости от заголовков кэша вашего сайта), но для повторной индексации вашего сайта может потребоваться больше времени. К сожалению, вы, вероятно, просто должны быть терпеливыми.
источник
Я хотел бы добавить, что нет необходимости добавлять файл robots.txt на ваш веб-сайт для его сканирования. Я обнаружил, что многие люди имеют неправильные представления о файле robots.txt. Боты поисковой системы будут сканировать ваш сайт, даже если у них нет файла robots.txt.
Если вы не хотите показывать какой-либо контент поисковой системе, однако, требуется robots.txt.
В вашем случае следующие шаги приведут к быстрому сканированию вашего сайта:
источник