Имеет ли смысл возвращать 410 вместо 404, когда какая-то страница была окончательно удалена?

Имеет ли смысл возвращать 410вместо того, 404когда некоторые страницы были удалены навсегда? В этом видео Мэтт Каттс говорит, что Google относится к ним одинаково, но есть ли другие причины для реализации 410(кроме технической корректности)?

На нашем сайте недавно было реализовано 410 ошибок для страниц, которые были удалены навсегда. У нас около 40 миллионов страниц в индексе Google, и робот Googlebot обрабатывает 2 миллиона запросов в день.

После очистки нашей базы данных мы обнаружили большое количество 404 ошибок, которые продолжают появляться в сообщениях об ошибках сканирования в Инструментах для веб-мастеров. Когда мы переключились на 410 состояний вместо 404, количество ошибок в день сократилось вдвое, а общее количество выполненных запросов осталось примерно таким же. Таким образом, это более успешно сканируемых страниц в день в конце. Похоже, что страницы со статусом 404 сканируются несколько раз, а затем полностью удаляются из индекса.

Так что я бы сказал, да, безусловно, стоит использовать 410, где это уместно, чтобы сохранить бюджет Google Crawl.

В этом мире больше, чем Google. 410 однозначно сообщает боту, что файл пропал. А 404 нет. Постоянный бот может продолжать пытаться найти 404 бесконечно, тогда как он может прекратить пытаться найти 410 немедленно, что сделает ваш сервер очень счастливым.

Помимо того, что поисковых систем больше, чем Google, нет никаких оснований полагать, что Google никогда не изменит своего подхода к 410 ответам. Действительно, кажется, что это уже произошло: информация, которую цитирует Мэтт Каттс в видео, относится к 2007 году, тогда как в этом сообщении Джона Му, опубликованном в 2009 году на веб-форумах Google для веб-мастеров, говорится иначе:

«Я следил за 404 против 410 с командой здесь. Как упоминали некоторые другие здесь и в других местах, мы обычно относились к ним одинаково в прошлом.

Однако, посмотрев на то, как веб-мастера используют их на практике, мы теперь рассматриваем код результата HTTP 410 как «более постоянный», чем 404. Поэтому, если вы абсолютно уверены, что страница больше не существует и никогда больше не будет существовать, использование 410, вероятно, было бы хорошо. "

Таким образом, похоже, что Google сейчас действительно обрабатывает 410 ответов иначе, чем 404.

По моему опыту, Google не понимает 410 кодов ошибок.

Некоторое время назад я полностью изменил сайт, поэтому все старые URL-адреса «410 Gone». Я не могу использовать перенаправления 301, потому что нет прямой связи с новым URL.

Я использовал, .htaccessчтобы сообщить Google, что старые URL пропали, но он постоянно сообщает мне, что на моем сайте ОГРОМНОЕ количество ошибок 404. Я проверил URL-адреса в отчете об ошибках сканирования, и все они 410, а не 404, как говорится.

В этом мире больше, чем Google.

Цитируется за правду. Учитывая ваше требование, чтобы сообщить ботам (и, вероятно, людям), что страница была удалена навсегда , я бы на самом деле выбрал 301перенаправление на страницу, объясняющую (при необходимости), почему контент был удален, или забрал бот / пользователя вернуться на страницу указателя.

Менее известные коды ошибок HTTP обычно не так хорошо поддерживаются, поняты или реализованы по всем направлениям, поэтому я обычно придерживаюсь тех, которые обеспечивают ожидаемый и, надеюсь, беспроблемный просмотр страниц.

_{Выбор варианта выбора зависит от того, сколько запросов все еще поступает для (сейчас) отсутствующего контента.}