Мифы SEO: Всё о заголовке Last-Modified

В области поисковой оптимизации сайтов (SEO) гуляет вообще очень много разных мифов. Какие-то из них имеют под собой основу, какие вообще взялись не пойми откуда. В этой заметке рассмотрим один из них – использование заголовка ответа last-Modified.

Некоторое время назад к нам попал некий документ, озаглавленный “Рекомендации Ingate для веб студий по продвигаемым сайтам”. И одна из “рекомендаций” была следующей:

После редизайна или на новом разрабатываемом сайте должна быть прописана дата последней модификации страниц сайта (Last Modified)

Для добавления на сайт на PHP информации о дате последней модификации страниц необходимо в самое начало исходного кода каждой страницы вставить скрипт

<?php
  header ("Last-Modified: " . date("D, d M Y H:i:s", time()) . " GMT");
?>

Именно эта дикая ахинея, эта несусветная чушь и откровенно бредовый код и сподвигли меня написать эту заметку. Здесь я постараюсь объяснить, что такое Last-Modified, зачем он нужен и как его используют браузеры и поисковые машины.

Что такое Last-Modified

Веб-сервер при передаче информации клиенту (браузеры или поисковому роботу) сообщает довольно много дополнительных данных. Их можно посмотреть в консоли браузера, например:

Существуют стандарты RFC2616, RFC 7230-7237 (Hypertext Transfer Protocol — HTTP/1.1), которые подробно объясняют, как происходит или должно происходить взаимодействие по этому протоколу.

Как можно догадаться из названия заголовок ответа Last-Modified передает информацию о времени изменения документа.

Почему же он важен? Этот заголовок не является обязательным может использоваться в так называемых условных запросах (conditional request) или валидаторах кэша (cache validating). Фактически, он используется в сценариях проверки нужно ли загружать текущий документ заново или нет. Есть несколько способов такой проверки, мы же рассмотрим только проверку по времени.

Идея, описанная в стандарте очень проста. При первом запросе документа сервер сообщает дату и время последнего изменения документа, например:

GET / HTTP/1.1
Host: example.com

HTTP/1.1 200 Ok
Content-Type: text/html
Date: Fri, 19 Dec 2014 15:31:28 GMT
Last-Modified: Fri, 19 Dec 2014 15:00:00 GMT

Обратите внимание, сервер обязательно сообщил свое время (“сверим часы!”) и дату модификации документа, которое было раньше, чем текущее время.

При повторном обращении клиент (браузер или поисковый робот) может запросить документ следующим образом: дай документ, если он менялся с указанной даты:

GET / HTTP/1.1
Host: example.com
If-Modified-Since: Fri, 19 Dec 2014 15:01:00 GMT

HTTP/1.1 304 Not Modified
Content-Type: text/html
Date: Fri, 19 Dec 2014 15:35:28 GMT
Last-Modified: Fri, 19 Dec 2014 15:00:00 GMT

Обратите внимание, сервер ответил именно 304 Not Modified и прекратил дальнейшую передачу. Это здорово сэкономило время, поскольку браузеру уже не нужно повторно загружать документ.

При этом важно обратить внимание на стандарт:

a) If the request would normally result in anything other than a 200 (OK) status, or if the passed If-Modified-Since date is invalid, the response is exactly the same as for a normal GET. A date which is later than the server’s current time is invalid.

b) If the variant has been modified since the If-Modified-Since date, the response is exactly the same as for a normal GET.

c) If the variant has not been modified since a valid If-Modified-Since date, the server SHOULD return a 304 (Not Modified) response.

Заметьте, здесь сказано, что если передаётся неправильная информация о дате или документ был изменен, то ответ должен быть как обычный GET без дополнительных условий. Если же никаких изменений не было ответ ДОЛЖЕН быть 304.

Понятно, клиенты (браузеры и роботы) берут информацию о дате последнего изменения документа из предыдущего своего запроса, но если там она передавалась некорректно (см. бредовый код Ингейта выше) то смысла в этом заголовке вообще нет!

Идем далее, сам по себе заголовок Last-Modified особой роли не играет, наиболее важен ответ сервера на запрос с условием If-Modified-Since – 304 (документ не менялся) или 200 (документ менялся, вот актуальная версия). Это описывается даже в руководстве для веб-мастеров Яндекса:

настройте сервер на выдачу корректных заголовков ответов (например, если страница не существует, выдавать ошибку 404, а если поступил запрос If-Modified-Since, то выдавать код 304, если страница с указанной в запросе даты не изменялась).

Также можно увидеть, что если сервер никак не реагирует на условный запрос GET, то он ничем не отличается от обычного запроса. То есть, заголовок Last-Modified с текущим временем, к тому же и неправильно сформированным (привет Интегйту!) вообще не нужен!

Так нужен ли Last-Modified или нет?

Вообще нужен. Но важно понимать, что не сам заголовок играет какую-либо роль, а весь сценарий условных запросов, который должен быть реализован сайтом до конца. Именно в этом случае мы получим высокую скорость индексации сайта.

Но зачастую реализовать это в готовой CMS бывает весьма затруднительно. Возможно для этого потребуется довольно значительные изменения кода самой CMS.

Хотя для ряда CMS это можно реализовать включением кэширования страниц. Если CMS кэширует страницы, создавая и отдавая фактически статичные файлы, то сам веб-сервер будет правильно отвечать на условные запросы. Например, в WordPress это можно реализовать с помощью плагина WP Super Cache:

Проверим его в работе. Я включил этот плагин, открыл браузер в анонимном режиме и сделал два запроса одной страницы. Хорошо видно, что второй ответ правильный – 304 Not Modified:

Вместо заключения

Таким образом, мы разобрались с заголовком Last-Modified. Во-первых, он должен передавать информацию о дате и времени реального изменения документа. Во-вторых, крайне важна реакция сервера на условный запрос с заголовком If-Modified-Since.

Ну и поменьше слушайте сеошников, которые не знают элементарных основ работы интернета.