Хороший инструмент для сканирования моего сайта и помощи в поиске мертвых ссылок и несвязанных файлов [закрыто]

21

У меня довольно большой устаревший сайт с буквально тысячами PDF-файлов, которые иногда учитываются в базе данных, но часто являются просто ссылками на странице и хранятся в большинстве каталогов сайта.

Я написал сканер php, чтобы перейти по всем ссылкам на моем сайте, и затем я сравниваю это с дампом структуры каталогов, но есть ли что-то более простое?

site-maintenance web-crawlers dead-links MrChrister
источник
Смотрите также webmasters.stackexchange.com/questions/13310/…, который также спрашивает о проверке орфографии.
Джеймс Скемп

Ответы:

15

Я использовал Xenu's Link Sleuth . Это работает довольно хорошо, только убедитесь, что не DOS самостоятельно!

plntxt
источник
1
Отметьте опцию «Сиротские файлы» в настройках, и она предложит вам войти по FTP на ваш сайт.
Пельмс
Относится ли это к сайтам, на которые вы должны войти, чтобы попасть на страницу?
Донни В.
@Jim Как узнать, на какой странице находится неработающая ссылка?
Роб
После завершения сканирования появится отчет, в котором будет указана информация. В зависимости от размера сайта и количества неработающих ссылок анализ может быть затруднен. Я обычно настраиваю параметры отчетов перед сканированием и открываю отчет в виде текстового файла (поскольку он имеет формат .htm) и удаляю ненужные материалы, чтобы сделать его более управляемым. Надеюсь это поможет.
plntxt
6

Если вы используете Windows 7, лучшим инструментом является SEO Toolkit IIS7 1.0. Это бесплатно, и вы можете скачать его бесплатно.

Инструмент отсканирует любой сайт и сообщит вам, где находятся все недействительные ссылки, какие страницы загружаются слишком долго, на каких страницах отсутствуют заголовки, повторяющиеся заголовки, то же самое для ключевых слов и описаний, а также на каких страницах не работает HTML.

Бен Хоффман
источник
1
Я использовал это лично, и это отлично подходит для сканирования и, конечно же, SEO, но проверка FTP в Xenu просто исключает это.
MrChrister
1

Я большой поклонник linklint для проверки ссылок на больших статических сайтах, если у вас есть командная строка unix (я использовал на linux, MacOS и FreeBSD). Смотрите их сайт для инструкций по установке. После установки я создаю файл с именем check.llи делаю:

linklint @check.ll

Вот как выглядит мой файл check.ll

# linklint
-doc .
-delay 0
-http
-htmlonly
-limit 4000
-net
-host www.example.com
-timeout 10

Это позволяет сканировать www.example.comи генерировать HTML-файлы с перекрестными отчетами о том, что повреждено, отсутствует и т. Д.

artlung
источник
1

Существует несколько продуктов от Microsys , особенно их A1 Sitemap Generator и A1 Website Analyzer, которые будут сканировать ваш сайт и сообщать обо всем, что вы можете себе представить.

Это включает в себя неработающие ссылки, а также табличное представление всех ваших страниц, чтобы вы могли сравнивать такие вещи, как идентичные теги <title> и мета-описания, ссылки nofollow, meta noindex на веб-страницах, и целый ряд заболеваний, которые просто необходимы быстрая рука, чтобы исправить.

Евгений
источник
1

Link Examiner - действительно хорошее бесплатное программное обеспечение для ваших нужд.

Темно
источник