Как Google находит домен без ссылок на него?

13

Я недавно зарегистрировал новый домен, указал его на свой существующий сервер и настроил минимальную страницу с надписью «тест» и больше ничего.

Сегодня вечером я обнаружил, что страница уже проиндексирована в Google! На сайте нет ссылок (я даже никому не говорил о домене, так как пока ничего с ним не сделал).

Google тралит записи WHOIS или что-то?

search-engine-indexing domain-registration web-crawlers DisgruntledGoat
источник
Вы уверены, что не сделали что-то, что могло бы каким-то образом автоматически раскрыть URL-адрес, например упомянуть об этом в электронном письме в список (который может быть переиздан), перейти прямо оттуда на другой сайт, который может иметь публичные журналы или виджет реферера и т. д.?
Су '21
@ Не знаю, насколько мне известно. Я едва посетил сайт после того, как выкинул тестовую страницу.
Рассерженная Стрелка
@ TRiG Я уже упоминал, что тот же вопрос существует, но нет идеального ответа, поэтому я спросил.
Шешадри
Вы ничего не сделали, чтобы сделать этот вопрос другим, хотя. Это точно такой же вопрос.
TRIG
@TRiG Да, вопрос такой же, но в этом вопросе нет идеального ответа.
Шешадри

Ответы:

6

Они регистратор . Я не понимаю, почему они не могли использовать его для поиска новых сайтов для индексации.

Джон Конде
источник
Ха, мне нравится абзац в этой статье, в котором ходят слухи, что они делают веб-браузер и операционную систему! В любом случае, ваш ответ кажется логичным - чтобы быть регистратором, вы должны иметь полный доступ ко всем зарегистрированным доменам.
Рассерженная шлюха
12

Есть как минимум 3 способа:

  1. Ссылки на ваш сайт.
  2. Использование Google Webmaster Tools (теперь называется Search Console)
  3. Регистратор дампов, триггеров и других опций.

Google быстро найдет много новых сайтов от некоторых регистраторов. Например, Google нашел одно доменное имя, которое я зарегистрировал с помощью GoDaddy, проиндексировал его и начал отправлять результаты поиска в течение 20 минут после регистрации доменного имени. Но это не произойдет для всех регистраторов.

Могут быть и другие способы, но это наиболее распространенные.

Если вы хотите, чтобы Google быстро узнал о вашем сайте, лучше всего отправить его с помощью Инструментов Google для веб-мастеров (теперь он называется Консоль поиска).

@zigojacko поднял замечательный момент (!) в комментариях, которые действительно должны жить в ответе. Если у вас есть учетная запись Google+, вы можете просто перейти по ссылке на свой веб-сайт, и Google немедленно выполнит это. Это по крайней мере так же быстро, как создание учетной записи WMT, если не быстрее!

[Подсказка]

Файлы Sitemaps и robots.txt не имеют ничего общего с обнаружением домена. На самом деле, карты сайта бесполезны для большинства сайтов, за исключением очень больших сайтов, сайтов, которые нельзя сканировать полностью, так как не все страницы связаны, сайтов с платным доступом или сайтов с логином. Файлы Sitemap не имеют ничего общего с эффективностью поиска, за исключением указанных выше причин. Кроме того, всегда желательно создать файл robots.txt, даже если он пуст.

closetnoc
источник
1
@sheshadri в любое время! Мы здесь для вас и здесь есть настоящие эксперты. Это один сайт, на который Google и другие авторитетные сайты обращают внимание и отвечают на него.
closetnoc
1
@sheshadri Многие крупные регистраторы делятся новой регистрационной информацией с Google практически в режиме реального времени.
closetnoc
1
Чтобы добавить еще одну идею в дополнение к правильному ответу @ closetnoc, нужно сослаться на сайт из Google+. Похоже, что в Google что-то вызывает отправку визита из Googlebot очень быстро, иногда так быстро, как в течение часа, хотя некоторые и дольше.
zigojacko
1
Google также сам является регистратором доменов, поэтому я предполагаю, что в качестве регистратора они должны иметь доступ ко всем зарегистрированным доменам.
Макс
1
@zigojacko Отличный момент !! Я часто забываю о Google+, поскольку не занимаюсь социальными вопросами.
closetnoc
-1

Если вы используете панель инструментов Google и активировали информацию о Page Rank, она сообщит Google об URL страницы (чтобы получить номер Page Rank), и это может привести к индексации вашей страницы.

mawtex
источник
1
Нет, не используйте это, или что-нибудь подобное.
Рассерженная шлюха
1
Один не имеет ничего общего с другим. База данных панели инструментов и база данных поиска полностью и полностью отделены друг от друга. База данных панели инструментов обновляется агрегированными агентами.
closetnoc
Не говоря уже о том, что Google TBPR уже давно обнулен, так что, вероятно, он больше ничего не делает.
zigojacko