Ладно. Обо всем по порядку. Не отмечайте свой 404 как исправленный . Вы на самом деле продлеваете проблему. Google попытается получить страницу, которая возвращает 404 несколько раз, прежде чем сдаться. Это связано с тем, что ошибка 404 указывает на временную ситуацию, когда ошибка 410 говорит о том, что страница исчезла . Таким образом, каждый раз, когда вы помечаете 404 как исправленный , вы фактически говорите Google повторить попытку, таким образом снова и снова запуская процесс исключения.
Просто дайте этим страницам некоторое время 404, и Google перестанет их искать и удалит страницы из индекса. Это займет время, но если не считать ошибки 410, это самый простой способ. Ошибка 410 ускорит процесс, но сложнее представить ошибку 410, а по умолчанию используется значение 404, что делает его более простым и естественным решением.
Ваши удаленные страницы исчезнут через 30-60 дней, если вы сможете подождать. Это зависит от того, как часто Google посещает ваши страницы. Это может занять больше времени, но после того, как 404 найдены, Google любит сначала проверять сайт, а затем, в зависимости от количества 404, может стать более агрессивным.
Использование карты сайта на самом деле не решает никаких проблем с индексом. Это только делает жизнь проще для поисковых систем. Он никогда не считается окончательным списком страниц, которые есть у любого сайта. Если поисковая система читает карту сайта и все еще находит страницы, не указанные в карте сайта, она продолжит индексировать эти страницы.
Один из вариантов, если это имеет смысл, - перечислить эти страницы в файле robots.txt. Если их не так много (имеется в виду что-то, что вы можете сделать, и ваш файл robots.txt не будет слишком длинным), это было бы более быстрым решением. В противном случае, я бы просто подождал и позволил 404 ошибкам истечь самостоятельно.
Последнее слово. Вы будете в порядке. В самом деле. Все это будет очень хорошо для вас, если вы терпеливы.
it is harder to present a 410 error?После того, как вы опубликуете страницу, Google никогда не забудет об этом. У меня есть сайты, с которых я удалил страницы 15 лет назад. Робот Google по-прежнему возвращается и время от времени проверяет эти страницы.
Чтобы предотвратить отображение страниц в поисковой системе, ваши ошибки 404 сделают эту работу. Google может занять день, чтобы удалить страницу из индекса после следующего сканирования роботом Google. Если вы хотите, чтобы он был удален быстрее, верните вместо него статус «410 Gone». Google удаляет 410 страниц сразу после сканирования, а не ждет дня. Google не удаляет сразу 404 страницы, чтобы веб-мастера не стреляли себе в ногу, как описано Мэттом Каттсом :
Другой метод, который вы могли бы рассмотреть, это перенаправление. 301, перенаправив старую страницу на замену, предотвратит ее появление как ошибку в Инструментах Google для веб-мастеров. Это возможно только при наличии новой страницы для каждой из старых страниц. Перенаправление всех тестовых страниц на домашнюю страницу не поможет, потому что Google считает перенаправления на домашнюю страницу «мягкими ошибками 404», которые все равно будут отображаться в этом отчете.
Наличие 404 ошибок в Инструментах для веб-мастеров не повредит вам. Наличие около 404 ошибок на вашем сайте может даже помочь вам, потому что это показывает Googlebot, что ваш сайт настроен правильно. Вот что говорит Джон Мюллер из Google (который работает с инструментами для веб-мастеров и картами сайтов) о 404 ошибках, которые появляются в инструментах для веб-мастеров :
источник
Google, вероятно, продолжит пытаться сканировать эти страницы в течение длительного времени. Веб-мастера допускают ошибки, или сайты по какой-либо причине становятся недоступными, поэтому Google не будет удалять контент при первых признаках 404.
В качестве альтернативы вы можете подать 410 Gone вместо. Это гораздо более сильный (то есть преднамеренный) сигнал о том, что страница буквально «ушла» и больше не возвращается. Это может побудить Google быстрее удалить страницу из поисковой выдачи.
Они только "решены", если вы вернули страницу назад. Если вы отметите его как разрешенное, а страница не существует, тогда ошибка сканирования просто повторится. Если страница не существует, просто оставьте ее как есть.
Подлинные 404 не повредят вашему поисковому рейтингу. Отчет 404 в GWT в первую очередь для вашего удобства, поэтому вы можете видеть, когда что-то идет не так ... когда не удается найти страницы, которые нужно найти!
Эти нерелевантные страницы в поисковой выдаче, возможно, являются небольшим раздражением для ваших пользователей, однако, что они ищут, чтобы найти ваш lorem ipsum ?
источник