Если в индексе оказались внутренний поиск, страницы архивов без ценности для поиска или служебные URL, это обычно не катастрофа, но и оставлять их как есть не всегда разумно. Такие страницы часто создают дубли, размывают качество индекса и отвлекают поисковые системы от действительно полезных материалов. В WordPress это обычно решают через noindex — но закрывать нужно не всё подряд, а только те типы страниц, которые не несут самостоятельной поисковой ценности.
В Yoast SEO это настраивается достаточно просто, но перед переключением важно понять, какие страницы вы закрываете и что будет с ними дальше: исчезнут ли они из поиска, останутся ли доступны пользователям, не сломается ли навигация и не потеряете ли вы полезный трафик. Ниже — практическая схема, которая помогает принять решение без лишних рисков.
Какие страницы WordPress обычно закрывают от индексации
Логика здесь простая: если страница нужна для удобства пользователя, но не должна конкурировать в поиске с основным контентом, её часто закрывают через noindex. При этом сама страница остаётся доступной на сайте, если вы не добавляете дополнительные ограничения.
Чаще всего закрывают такие типы страниц:
- внутренний поиск — результаты поиска по сайту, например URL вида
?s=запрос; - служебные страницы — результаты фильтров, страницы авторизации, корзина, оформление заказа, личный кабинет, если они вообще доступны для индексации;
- архивы с низкой ценностью — архивы тегов, дат, авторов, если они не дают отдельной пользы и дублируют контент;
- страницы пагинации в некоторых структурах, если они не нужны в индексе и не несут самостоятельной ценности;
- тонкие архивы — страницы, где слишком мало материалов или они почти не отличаются от других архивов.
Но есть важная оговорка: не все архивы одинаковы. Категории на контентном сайте часто полезны для поиска и внутренней структуры, а вот теги, созданные без системы, нередко только засоряют индекс. Поэтому решение всегда зависит от структуры конкретного сайта, а не от универсального правила.
Когда noindex действительно уместен, а когда лучше ничего не трогать
noindex полезен, когда страница существует технически, но не должна ранжироваться как самостоятельная посадочная. Это типичная ситуация для внутренних поисков, страниц с параметрами, архивов без уникальной ценности и служебных разделов.
Не стоит закрывать от индексации страницы, которые приводят целевой трафик или помогают поисковику понять структуру сайта. Например, если категории у вас хорошо проработаны, содержат описания, подборки материалов и реально ранжируются, закрывать их не нужно. То же касается страниц, которые уже получают переходы из поиска и выполняют роль входных.
Ещё одна частая ошибка — закрывать всё подряд только потому, что в отчёте найдено много URL. Количество страниц в индексе само по себе не проблема. Проблема начинается тогда, когда в индексе много бесполезных, дублирующих или технических URL, которые не помогают пользователю и мешают поисковику.
Как настроить noindex в Yoast SEO
В Yoast SEO настройка зависит от типа страницы. Для записей и страниц это делается на уровне конкретного материала, а для архивов — в настройках таксономий и архивов сайта. Названия пунктов могут немного отличаться в разных версиях плагина, но логика остаётся одной и той же: вы задаёте, можно ли поисковым системам индексировать этот тип страниц.
Закрыть отдельную запись или страницу
Если нужно закрыть конкретную страницу, откройте её в редакторе WordPress и найдите блок Yoast SEO. В расширенных настройках обычно есть параметр индексации, где можно выбрать вариант вроде noindex для этой страницы. Это полезно для служебных страниц, которые не должны попадать в поиск, но должны работать для пользователей.
Такой способ подходит для единичных URL. Если у вас десятки одинаковых служебных страниц, удобнее закрывать не каждую вручную, а весь тип контента или архив целиком — если это действительно оправдано.
Закрыть архивы категорий, тегов, авторов и дат
Для архивов настройка обычно находится в SEO-настройках Yoast SEO, в разделе, связанном с типами контента и таксономиями. Там можно отдельно задать индексирование для категорий, тегов, архивов авторов и архивов дат.
На практике чаще всего:
- категории оставляют открытыми, если они помогают структуре сайта и имеют уникальные описания;
- теги часто закрывают, если они создаются хаотично и не дают ценности;
- архивы авторов закрывают на сайтах с одним автором или там, где они дублируют страницы записей;
- архивы дат обычно закрывают, если они не нужны пользователю и не несут отдельной поисковой пользы.
Если у вас многопользовательский сайт с сильной редакционной структурой, архивы авторов могут быть полезны. Если же это корпоративный сайт или блог одного автора, такие архивы чаще всего только создают лишние URL.
Закрыть страницы внутреннего поиска
Страницы результатов поиска по сайту почти всегда стоит закрывать от индексации. Причина простая: поисковый запрос пользователя формирует бесконечное количество комбинаций, а сами результаты поиска редко являются ценным посадочным материалом. Кроме того, такие страницы часто меняются и могут создавать много мусорных URL.
В WordPress результаты поиска обычно имеют вид ?s=.... Yoast SEO не всегда даёт отдельную кнопку именно для этого сценария в интерфейсе, потому что внутренний поиск — это уже зона настройки темы, шаблона или серверной логики. На практике часто используют либо настройки темы/плагина, либо дополнительный SEO-плагин для управления служебными URL. Если у вас нет готовой опции в Yoast SEO, не пытайтесь закрывать поиск через случайные правки robots.txt: это не то же самое, что noindex.
Если задача шире и нужно управлять дублями, служебными URL и техническими страницами без ручной возни, иногда удобнее подключить дополнительный инструмент вроде Clearfy Pro. Он может помочь с частью типовых SEO- и технических настроек WordPress, но использовать его стоит только тогда, когда вы понимаете, какие именно URL хотите закрыть и зачем.
Чем noindex отличается от robots.txt и canonical
Эти механизмы часто путают, а зря. У них разная задача.
| Инструмент | Что делает | Когда использовать |
|---|---|---|
noindex | Просит поисковик не включать страницу в индекс | Когда страница доступна, но не должна ранжироваться |
robots.txt | Ограничивает обход страниц роботом | Когда нужно сократить обход, но не заменять индексацию |
canonical | Подсказывает основную версию страницы | Когда есть похожие или дублирующиеся URL |
Для страниц поиска и большинства служебных страниц обычно нужен именно noindex. Если просто закрыть их в robots.txt, поисковик может не увидеть директиву noindex на странице и оставить URL в индексе как найденный по ссылкам. Поэтому robots.txt не заменяет нормальную настройку индексации.
canonical тоже не является полноценной заменой. Он полезен, когда есть несколько похожих страниц, но если URL вообще не должен индексироваться, лучше использовать noindex или комбинацию настроек по ситуации.
Как проверить, что настройка сработала
После изменения не нужно сразу ждать мгновенного исчезновения URL из поиска. Поисковым системам требуется время, чтобы переобойти страницу и учесть новую директиву. Это нормально.
Проверять стоит в таком порядке:
- Откройте страницу в браузере и убедитесь, что она по-прежнему доступна для пользователя, если вы не планировали её скрывать.
- Посмотрите исходный код страницы и найдите мета-тег robots. Для
noindexобычно используется директива вроде<meta name="robots" content="noindex, follow">или близкая по смыслу комбинация. - Проверьте страницу через инструменты для вебмастеров Google и Яндекса, если они у вас подключены. Там видно, как робот воспринимает страницу после обхода.
- Через некоторое время проверьте, исчезает ли URL из индекса и не появляются ли новые неожиданные дубли.
Если страница не исчезает сразу, это не значит, что настройка не работает. Иногда поисковик просто ещё не переобходил URL. Если же спустя время URL продолжает индексироваться, стоит проверить, не конфликтует ли noindex с редиректом, canonical или запретом в robots.txt.
Какие ошибки чаще всего ломают результат
Самая неприятная ошибка — закрыть от индексации полезные страницы, которые уже дают трафик. После этого сайт может потерять входные точки из поиска, а восстановление займёт время.
Ещё несколько типичных проблем:
- путают noindex и nofollow — это разные директивы, и они решают разные задачи;
- закрывают страницу в robots.txt вместо noindex — робот может не увидеть нужную директиву;
- закрывают архивы без анализа — иногда архив категории полезнее, чем отдельные записи;
- оставляют открытыми теги, которые создают тысячи дублей — особенно на больших сайтах;
- меняют настройки без проверки — а потом долго ищут, почему URL всё ещё в индексе или наоборот выпал слишком широко.
Если сайт большой, с десятками тысяч URL, лучше сначала составить список типов страниц, которые вы хотите закрыть, и проверить, какие из них уже получают поисковый трафик. На больших проектах такие изменения лучше вносить аккуратно и поэтапно.
Практичная схема, с которой обычно начинают
Если вам нужен рабочий старт без лишней теории, начните с трёх шагов: закройте внутренний поиск, проверьте служебные страницы и оцените архивы тегов, дат и авторов. Категории и важные разделы не трогайте, пока не убедитесь, что они действительно бесполезны для поиска.
Для небольшого сайта чаще всего достаточно закрыть внутренний поиск, архивы дат и лишние теги. Для контентного проекта с сильной структурой обычно оставляют категории, а вот теги и архивы авторов настраивают отдельно. Для корпоративного сайта часто закрывают почти все служебные URL, оставляя в индексе только страницы услуг, статей и важных разделов.
Если после настройки вы видите, что в индексе остаются только нужные страницы, а служебные и малополезные URL постепенно уходят, значит схема выбрана правильно. В SEO это и есть нормальный результат: не максимальное число страниц в индексе, а управляемая и понятная структура, в которой поисковику проще понять, что действительно важно для сайта.