При использовании средства проверки ссылок W3C я обнаружил, что мой Github Wiki нельзя сканировать:
https://github.com/aegif/CmisSync/wiki/Getting-started-with-CmisSync-development
Статус: (N / A) Запрещено robots.txt
Это прискорбно, поскольку я хотел бы, чтобы люди легко находили эту вики в поисковых системах.
ВОПРОС: Как я могу сделать мой Github Wiki доступным для поисковых систем?
Или я ошибаюсь и Github's robots.txt на самом деле в порядке?
Ответы:
GitHub robots.txt явно запрещает сканирование страниц вики, например, в разделе Googlebot:
Поскольку это файл роботов для всего сайта, его не обойти.
Это интересный выбор, поскольку GitHub описывает вики как место, где можно «поделиться подробным контентом о вашем проекте». Поскольку по умолчанию общедоступные вики редактируются любым пользователем, возможно, это жесткая защита от спамеров.
источник
GitHub вики доступны для поиска движками, которые поддерживают его. Смотрите первые две строки https://github.com/robots.txt :
Это, вероятно, для анализа различных форматов вики и т. Д.
Например, поищите в Google «протокол брокера openrefine», и первым попаданием станет страница в вики проекта Github.
источник