Существуют ли несуществующие страницы? Как видит Google страницу 404

Нам часто приходится делать аудиты сайтов. Как правило, к нам обращаются компании, которые уже сделали или делают сайт в другом агентстве, но хотят быть уверенными в качестве работ. Иногда приходят фирмы, которые уже имеют работающий сайт, но хотят проверить его на наличие ошибок.

Для комплексного аудита существует чек-лист из нескольких десятков пунктов, который помогает ничего не забыть и не упустить. Один из пунктов - страница 404.

Кому нужна страница 404?

О странице 404 нужно говорить с двух точек зрения: с точки зрения пользователей и с точки зрения поисковиков. Страница 404 называется так, потому что при обращении к ней сервер возвращает ошибку 404, т.е. сообщение о том, что пользователь попытался перейти на несуществующую страницу. Если ответ сервера верный, то с точки зрения поисковых систем проблем нет: обращение произошло - ответ получен. Но в то же самое время пользователь может увидеть белый экран с номером ошибки, пустую страницу сайта или карту сайта, а если сайт собран на шаблоне, то могут встретиться даже позабытые куски тестового контента.

Когда в рамках аудита мы доходим до пункта про 404 страницу, даем одно из нескольких заключений:

• страница 404 не оформлена и отдает код 200;
• страница 404 оформлена, но отдает код 200;
• страница 404 отдает любой другой код ответа;
• страница 404 сначала отдает 301 редирект, затем - 404 статус;
• страница 404 не оформлена, но отдает код 404;
• страница 404 оформлена и отдает код 404.

Только в последнем случае мы можем считать пункт аудита закрытым, в первых трех со страницей 404 придется поработать.

Страница 404 отдает код 200, это плохо?

Если страница 404 вместо соответствующего кода ошибки отдает код 200, это серьезная проблема, которую срочно нужно решать. Код 200 характерен для нормальных существующих страниц. Это сигнал для поискового робота, что он должен проиндексировать содержимое данной страницы, чтобы она могла попасть в выдачу.

Когда код 200 начинают отдавать несуществующие страницы, боты принимают эти страницы за реальные и пытаются проанализировать их содержимое, которого просто нет. А пока поисковые роботы тратят время на анализ мифических страниц, индексация реальных происходит очень медленно. Кроме того, пустые страницы в выдаче - это гарантированные отказы, а большой процент отказов может быстро понизить весь сайт в поисковой выдаче.

Одним из ярких признаков того, что страница 404 отрабатывает некорректно может стать резкое увеличение числа страниц в индексе поисковых систем. Если вы в последнее время не занимались развитием и расширением своего ресурса, а количество страниц в поиске резко пошло вверх, стоит проверить, не происходит ли индексация закрытых через robots.txt страниц и не появились ли несуществующие страницы в выдаче.

Как оформить страницу 404

Как мы сказали, страницу 404 нужно оценивать со стороны пользователей и со стороны поисковиков. Долгое время шли споры о том, какую информацию размещать на 404 странице. Наблюдалось две крайности: одни ограничивались стандартными фразами о том, что страница не найдена, другие пытались превратить ее в SEO-портянку в надежде “понравиться” поисковым роботам.

На недавней видеовстрече вебмастеров представитель компании Google Джон Мюллер заявил, что поисковики не анализируют контент на 404 странице. По словам Джона Мюллера, поисковым роботам не важно, какой контент размещен на странице 404, когда сервер в ответ на запрос возвращает ошибку 404, бот не продолжает анализ страницы, а переходит к следующей. Следовательно, наполнять страницы SEO-контентом абсолютно бессмысленно, с точки зрения поисковых роботов все 404 страницы одинаковы.

Тем не менее, оформлять страницы 404 все-таки стоит, но нужно делать это для пользователей. Ваша задача - сделать так, чтобы пользователь не ушел с сайта, а остался на нем. Для этого на 404 странице можно разместить ссылки на другие страницы, например, на основные разделы каталога, если речь идет об интернет-магазине.

Вывод: правильная страница 404 - это страница, которая отдает код ошибки 404 и одновременно полезна для пользователей. Ее основные задачи - сообщить поисковому боту о том, что страница не существует, и перенаправить пользователей на другие страницы сайта.