Как я могу сделать мой Github Wiki доступным для поисковых систем? robots.txt, кажется, запрещает это

9

При использовании средства проверки ссылок W3C я обнаружил, что мой Github Wiki нельзя сканировать:

https://github.com/aegif/CmisSync/wiki/Getting-started-with-CmisSync-development
Статус: (N / A) Запрещено robots.txt

Это прискорбно, поскольку я хотел бы, чтобы люди легко находили эту вики в поисковых системах.

ВОПРОС: Как я могу сделать мой Github Wiki доступным для поисковых систем?
Или я ошибаюсь и Github's robots.txt на самом деле в порядке?

НИК
источник
1
Я подозреваю, что ответ примерно такой же, как в этом похожем вопросе .
Джон С

Ответы:

9

GitHub robots.txt явно запрещает сканирование страниц вики, например, в разделе Googlebot:

User-agent: Googlebot
Allow: /*/*/tree/master
Allow: /*/*/blob/master
...
Disallow: /*/*/wiki/*/*

Поскольку это файл роботов для всего сайта, его не обойти.

Это интересный выбор, поскольку GitHub описывает вики как место, где можно «поделиться подробным контентом о вашем проекте». Поскольку по умолчанию общедоступные вики редактируются любым пользователем, возможно, это жесткая защита от спамеров.

Джон С
источник
0

GitHub вики доступны для поиска движками, которые поддерживают его. Смотрите первые две строки https://github.com/robots.txt :

# If you would like to crawl GitHub contact us at support@github.com.
# We also provide an extensive API: https://developer.github.com/

Это, вероятно, для анализа различных форматов вики и т. Д.

Например, поищите в Google «протокол брокера openrefine», и первым попаданием станет страница в вики проекта Github.

Питер Кель
источник
Хм, так почему же Google индексирует вики Broker-Protocol , а не вики OP?
Видар С. Рамдал