Как отключить от индексации архивы дат в WordPress без лишних дублей

Архивы по датам в WordPress часто остаются в индексе просто потому, что их никто не настраивал. На небольшом блоге это может быть терпимо, но на живом сайте такие страницы обычно дают мало пользы: контент там дублируется, трафика почти нет, а краулинговый бюджет уходит на лишние URL. Если у вас в Search Console всплывают страницы вида /2024/05/ или /2024/, их стоит проверить отдельно, а не закрывать «на всякий случай» весь сайт.

Ниже — рабочий сценарий: как понять, нужны ли вам архивы дат, чем их закрывать, как не сломать навигацию и как проверить, что поисковик действительно перестал их индексировать.

Когда архивы дат становятся проблемой

Сами по себе архивы дат не вредны. Проблема начинается, когда они создают страницы без уникальной ценности:

• на архиве мало записей или вообще одна-две;
• заголовок и сниппет почти не отличаются от других архивов;
• страницы доступны по нескольким URL-формам;
• в sitemap попадают URL, которые вы не хотите продвигать;
• поисковик тратит обход на страницы, которые не должны ранжироваться.

Типичный пример: на сайте есть архивы по месяцам, а в меню или в хлебных крошках они не используются. В этом случае индексировать их обычно нет смысла. Но если у вас новостной проект, где архив по дате — часть пользовательского сценария, решение может быть другим.

Диагностика: что именно индексируется

Перед правками проверьте, какие архивы дат уже попали в индекс и как они выглядят в выдаче. Это можно сделать тремя способами.

Проверка через Search Console

Откройте отчет по страницам и отфильтруйте URL с фрагментами /20xx/. Смотрите не только сам факт индексации, но и причину: обнаружено, но не проиндексировано, страница с перенаправлением, дубликат, выбранный канонический URL отличается. Это подскажет, достаточно ли мета-тега noindex или у вас еще есть проблема с каноникалами и дублями.

Проверка на сайте

Откройте архив даты в браузере и посмотрите исходный код. Важно понять, есть ли уже:

• <meta name="robots" content="noindex,follow">;
• канонический URL на сам архив или на более общий раздел;
• ссылки на архивы дат в шапке, футере или сайдбаре.

Если архивы доступны по ссылкам внутри сайта, но вы закрываете их от индексации, это нормально. Главное — не превращать их в тупики для пользователя.

Проверка через консоль

Если есть доступ к серверу, можно быстро посмотреть, не отдает ли сайт архивы дат как обычные индексируемые страницы. Например, через curl:

curl -I https://example.com/2024/05/

В ответе ищите заголовки, которые могут влиять на индексацию, и убедитесь, что нет случайного редиректа на нерелевантную страницу.

Какой способ выбрать: плагин, код или robots.txt

Для архивов дат лучше не использовать robots.txt как основной инструмент. Он может запретить обход, но не гарантирует удаление URL из индекса, если на них уже есть внешние ссылки. Для технической чистки надежнее noindex и, при необходимости, каноникал.

Если у вас уже стоит SEO-плагин, сначала проверьте его настройки. Если нет — проще и надежнее добавить небольшой фрагмент кода, чем городить отдельную логику в шаблоне.

Пошаговое решение через код

Ниже — вариант, который закрывает архивы дат от индексации, но оставляет их доступными для пользователей и поискового обхода. Это полезно, если вы не хотите ломать внутренние ссылки и навигацию.

add_filter( 'wp_robots', function( array $robots ) {
	if ( is_date() ) {
		$robots['noindex'] = true;
		$robots['follow']  = true;
	}

	return $robots;
} );

Этот код добавляет noindex,follow только на архивы дат. Для поисковика это сигнал не включать страницу в индекс, но продолжать переходить по ссылкам на ней.

Если вам нужно не только закрыть от индексации, но и убрать архивы дат из sitemap, это делается отдельно. Важно не путать эти задачи: noindex управляет индексированием, а sitemap — только списком URL для обхода.

Если архивы дат создаются темой или плагином

Иногда ссылки на архивы дат выводятся в виджетах, блоках темы или в хлебных крошках. Тогда одной директивы noindex мало: URL все равно будут активно появляться внутри сайта. В этом случае проверьте:

• виджеты «Архивы» в сайдбаре;
• шаблоны date.php, archive.php и index.php;
• настройки SEO-плагина, если он добавляет архивы в sitemap;
• кастомные блоки в редакторе, которые выводят архивы по месяцам.

Если архивы нигде не нужны, лучше убрать сами ссылки, а не только ставить noindex.

Как сделать это через SEO-плагин

Если вы используете плагин, который умеет управлять мета-тегами для архивов, проверьте, есть ли отдельная настройка для архивов дат. Обычно логика такая: отключить индексирование архивов, оставить их доступными для обхода, не трогать остальные типы страниц.

Плюс этого подхода в том, что он не зависит от темы. Минус — настройки могут меняться после обновлений, а в некоторых конфигурациях архивы дат все равно остаются в sitemap или получают каноникал на самих себя. Поэтому после изменения настроек обязательно проверяйте исходный код страницы.

Если у вас уже используется Clearfy Pro, в нем есть инструменты для чистки дублей и технической оптимизации. Но перед включением любой опции смотрите, что именно она меняет: закрытие архивов дат и отключение других архивов — это разные задачи. Ссылка на продукт: Clearfy Pro.

Проверка результата после внедрения

После правки не ограничивайтесь открытием страницы в браузере. Проверьте сразу несколько вещей.

1. Откройте архив даты и посмотрите исходный код: должен быть noindex,follow.
2. Убедитесь, что страница не закрыта через robots.txt раньше, чем поисковик увидит мета-тег.
3. Проверьте канонический URL: он должен вести на сам архив или на более подходящий раздел, если вы так задумали.
4. Посмотрите, не исчезли ли нужные ссылки на архивы из интерфейса сайта.
5. В Search Console отправьте URL на повторную проверку, если страница уже была в индексе.

Если архив был проиндексирован давно, удаление из выдачи может занять время. Это нормально: поисковик должен сначала переобойти страницу и увидеть новый сигнал.

Частые ошибки и как их исправить

Закрыли архив в robots.txt и ждете удаления из индекса

Это частая ошибка. Если URL уже известен поисковику, запрет в robots.txt не всегда приводит к быстрому удалению. Для деиндексации нужен доступ к странице, чтобы робот увидел noindex или другой понятный сигнал.

Поставили noindex на архив, но оставили его в sitemap

Так делать можно, но это создает лишний шум. Поисковик видит URL в sitemap, обходит его и получает сигнал не индексировать. Лучше убрать такие страницы из sitemap, если они вам точно не нужны в поиске.

Сломали навигацию, удалив архивы из темы

Если архивы дат использовались как часть интерфейса, не удаляйте их без проверки. Сначала посмотрите, не ведут ли на них хлебные крошки, блоки «Архивы» или кастомные меню. Иногда достаточно убрать ссылку из сайдбара, а не переписывать шаблон.

Закрыли не только даты, но и все архивы

Некоторые решения в SEO-плагинах работают слишком широко. После обновления можно случайно закрыть и категории, и теги, и пользовательские таксономии. Поэтому после каждого изменения проверяйте тип страницы вручную.

Чек-лист перед публикацией изменений

• Проверен тип архивов: год, месяц, день или все сразу.
• Понятно, нужны ли эти страницы пользователям.
• Добавлен noindex,follow только на нужные архивы.
• Архивы убраны из sitemap, если они не должны индексироваться.
• Проверен канонический URL.
• Тест пройден в исходном коде и в Search Console.
• Не сломаны внутренние ссылки и блоки темы.

Когда архивы дат лучше оставить открытыми

Есть сценарии, где закрывать их не стоит. Например, если сайт регулярно публикует новости, а архив по месяцам помогает пользователям быстро находить материалы. В таком случае лучше не бороться с самим архивом, а улучшить его: добавить понятный заголовок, краткое описание, нормальную пагинацию и убрать пустые страницы.

Если же архивы дат не несут ценности и только плодят дубли, их проще и безопаснее закрыть через noindex, чем надеяться на robots.txt или ручную чистку выдачи.