Почему поисковые системы не индексируют мой контент?

Это общая пара вопросов и ответов вики - сообщества, предназначенная для ответов на любые вопросы, касающиеся причин, по которым сайт или конкретное содержимое сайта не отображаются в результатах поиска.

Если ваш вопрос был закрыт как дубликат этого вопроса, и вы считаете, что информация, представленная здесь, не дает достаточного ответа, пожалуйста, откройте дискуссию о Pro Webmasters Meta .

Мой сайт (или определенные страницы на моем сайте) не отображаются в результатах поиска.

Почему мой контент не проиндексирован и что я могу с этим сделать?

Существует ряд причин, по которым ваш контент может не отображаться в результатах поиска, однако важно отметить, что индекс поисковой системы может содержать страницы, которые он не отображает на своей странице результатов .

Как определить, действительно ли ваш контент проиндексирован?

На самом деле может быть трудно определить, проиндексирован ли ваш контент.

• Найдите все документы на вашем сайте и посмотрите, сколько их в списке
  • Google: введите site:example.com(где example.comнаходится ваш домен, после двоеточия не должно быть пробелов.)
  • Bing: введитеsite: example.com
  • Yahoo: введите site: example.com(или воспользуйтесь формой расширенного поиска)
• Ищите конкретный документ по уникальному предложению от восьми до двенадцати слов и ищите это предложение в кавычках. Например, чтобы найти этот документ, вы можете выбрать «количество причин, по которым ваш контент может не отображаться в результатах поиска».

• В дополнение к вышесказанному, используйте поиск по ключевым словам, inurl:и intitle:вы можете попробовать что-то вроде keyword with another keyword inurl:example.comэтого , это вызовет upi-страницы, которые проиндексированы только для указанного домена.

  • Войдите в инструменты для веб-мастеров, чтобы увидеть статистику самой поисковой системы о том, сколько страниц проиндексировано с сайта.
  • Инструменты Google для веб-мастеров. Информация доступна в разделе «Здоровье» »« Статус индекса ». Если вы отправили карты сайта, вы также можете увидеть, сколько документов в каждом файле карты сайта было проиндексировано.
  • Инструменты Bing для веб-мастеров

В некоторых случаях документы могут не индексироваться одним из этих методов, но документы можно найти в индексе другими методами. Например, инструменты для веб-мастеров могут сообщать, что несколько документов проиндексированы, даже если вы можете искать их предложения и находить документы в поисковой системе. В таком случае документы будут фактически индексируются.

Как контент становится проиндексированным

Прежде чем поисковые системы индексируют контент, они должны найти его с помощью веб-сканера. Вы должны проверить логи вашего веб-сервера, чтобы увидеть, посещают ли сканеры поисковых систем (определенные их пользовательским агентом - например, Googlebot , Bing / MSNbot ) ваш сайт.

Более крупные поисковые системы, такие как Google и Bing, обычно сканируют сайты часто, но сканер может не знать о новом сайте. Вы можете сообщить поисковым системам о существовании вашего сайта путем регистрации в качестве веб - мастеров ( Google для веб - мастеров , Bing Webmaster Tools ) или, если поисковая система не обеспечивает этого объекта, направляющее ссылку на его гусеничном (например , Yahoo ).

Как долго ваш сайт / контент был в сети?

Поисковые системы могут очень быстро проиндексировать контент после его обнаружения, однако такие обновления иногда откладываются. Меньшие поисковые системы могут также быть намного менее отзывчивыми и занимать недели, чтобы проиндексировать новый контент.

Если ваш контент был онлайн только в течение нескольких дней и не имеет ссылок с других сайтов (или его ссылки приходят с сайтов, которые сканеры не посещают часто), он, вероятно, не проиндексирован. Если ваш сайт не использовался более нескольких месяцев, поисковые системы могут не доверять ему настолько, чтобы индексировать на нем много контента.

Был ли контент исключен веб-мастером?

Этот шаг особенно важен, если вы захватываете сайт у кого-то другого, и существует проблема с определенной страницей или каталогом: проверьте наличие исключений robots.txt и META robots и удалите их, если вы хотите, чтобы сканеры проиндексировали исключаемый контент.

Существует ли техническая проблема, препятствующая индексации вашего контента?

Если у вас есть созданный сайт, но конкретный контент не индексируется (в URL-адресах, где находится контент, нет обращений к веб-сканерам), инструменты для веб-мастеров, предоставляемые Google и Bing, могут предоставить полезную диагностическую информацию.

Документация Google Crawl Errors содержит обширную справочную информацию об общих проблемах для веб-сканеров, которые препятствуют индексации контента, и, если вы используете Инструменты Google для веб-мастеров, вы получите предупреждение, если какие-либо из этих проблем обнаружены на вашем сайте.

Как можно быстрее исправляйте ошибки и неверные конфигурации, чтобы обеспечить индексацию всего содержимого вашего сайта.

Является ли содержание низкого качества?

Поисковые системы не индексируют большинство страниц, которые они сканируют. Они только индексируют контент высшего качества. Поисковые системы не будут индексировать контент, если:

• Это спам, бред или ерунда.
• Это найдено в другом месте. Когда поисковые системы находят дублированный контент, они выбирают только один из дубликатов для индексации. Обычно это оригинал, который имеет больше репутации и ссылок.
• Это тонкий. Требуется более пары строк оригинального текста. Желательно намного больше. Автоматически созданные страницы с небольшим содержанием, например страница для каждого пользователя, вряд ли будут проиндексированы.
• У него недостаточно репутации или ссылок. Страница может быть зарыта слишком глубоко на вашем сайте, чтобы оценить. Любая страница без внешних ссылок и нескольких кликов с домашней страницы вряд ли будет проиндексирована.

Индексируется ли часть вашего контента, но не все?

Если на вашем сайте сотни страниц, Google почти никогда не будет индексировать каждую страницу. Если на вашем сайте десятки тысяч страниц, Google обычно индексирует только небольшую часть этих страниц.

Google выбирает количество страниц для индексации сайта на основе общей репутации сайта и качества контента. Google, как правило, индексирует больший процент сайта по мере роста репутации сайта.

Я думаю, что мне не нужно повторять то же самое, что указано выше, однако, если вы не знакомы с новым инструментом, вот способ проверить это ниже.

Вы можете проверить, не блокирует ли ваш файл robot.txt содержимое, перейдя к старому инструменту Google Webmaster для тестирования robots.txt.

Консоль поиска Google (новая версия)

Поисковая консоль Google предоставляет ценную информацию, чем старая версия. Проверьте наличие проблем прямо в консоли поиска Google, сканирует ли ваша страница или нет, проиндексированы или нет, в реальном времени или нет, а также проблемы, если таковые имеются.

1. Войдите в консоль поиска Google своего сайта.
2. Если у вас несколько свойств домена, убедитесь, что вы выбрали желаемое.

Устаревший инструмент в Google Webmaster

Вот как вы можете пройти через новую консоль поиска

Если у вас в корневом каталоге есть файл robots.txt, он может указывать Google не индексировать ваш сайт.

Вы проверяли это?

Обычно безопасно просто удалить (или переименовать) эти файлы, поскольку это звучит так, как будто вы действительно хотите быть проиндексированы.

ВАЖНО! Это может привести к нарушению условий сделки, если вы пытаетесь заставить Google Adsense работать на вашем сайте.

Независимо от того, где вы разместили свой специальный код, если вы не проиндексированы, вам сообщат, что ваш сайт не работает, и они не смогут его подтвердить.