Оптимизация файла robots.txt для WooCommerce с YoastSEO

Почему важно правильно настроить robots.txt для WooCommerce

Файл robots.txt управляет индексированием сайта поисковыми системами. В интернет-магазинах на WooCommerce большое количество динамического и технического контента — страницы пагинации, корзины, аккаунта пользователя, фильтров — которые не должны попадать в индекс. Неправильная настройка может привести к дублированию контента, пустым страницам в индексе и снижению SEO.

Диагностика проблем с robots.txt в WooCommerce

Для проверки текущего состояния robots.txt выполните следующие шаги:

• Откройте https://ваш-домен/robots.txt и проанализируйте содержимое.
• Проверьте в Google Search Console раздел «Файл robots.txt» на наличие ошибок и блокировок важных страниц.
• Выполните в терминале или онлайн-сервисах проверку с помощью команды curl -I https://ваш-домен/robots.txt для проверки доступности.
• Используйте инструмент «Проверка URL» в GSC, чтобы убедиться, что страницы WooCommerce индексируются корректно.

Типичные проблемы

• Индексация страниц корзины, аккаунта и оформления заказа.
• Индексация параметрных URL с фильтрами и сортировками.
• Отсутствие директив для защиты от дублирования контента с пагинацией и тегами.
• Конфликт robots.txt с настройками YoastSEO, например, когда Yoast добавляет директивы noindex, а robots.txt не блокирует соответствующие URL.

Пошаговое решение: оптимальная настройка robots.txt для WooCommerce с YoastSEO

1. Создайте или отредактируйте файл robots.txt в корне сайта WordPress.

2. Добавьте основные директивы для блокировки технических страниц WooCommerce:

User-agent: *
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /?add-to-cart=
Disallow: /*add-to-cart=
Disallow: /*?orderby=
Disallow: /*?filter_
Disallow: /*?filter=
Disallow: /wp-admin/
Disallow: /wp-login.php
Allow: /wp-admin/admin-ajax.php

Sitemap: https://ваш-домен/sitemap_index.xml

3. Проверьте, что в настройках YoastSEO в разделе «Поисковый вид» для страниц WooCommerce (корзина, аккаунт, оформление заказа) включён параметр «Запретить индексацию» (noindex).

4. Для динамических параметров фильтрации используйте блокировку через Disallow с шаблонами, как показано выше.

5. Если на сайте используется кэш или CDN, очистите кеш после обновления robots.txt.

Как автоматизировать генерацию robots.txt в WordPress с YoastSEO

YoastSEO автоматически генерирует базовый robots.txt, но для WooCommerce его нужно расширять через хук. Добавьте код в functions.php темы или в плагин:

add_filter('robots_txt', function($output, $public) {
    if (!$public) return $output;
    $woo_rules = "\nUser-agent: *\nDisallow: /cart/\nDisallow: /checkout/\nDisallow: /my-account/\nDisallow: /?add-to-cart=\nDisallow: /*add-to-cart=\nDisallow: /*?orderby=\nDisallow: /*?filter_\nDisallow: /*?filter=\n";
    return $output . $woo_rules;
}, 10, 2);

Проверка результата после внедрения

• Повторно откройте https://ваш-домен/robots.txt и убедитесь, что новые директивы отображаются.
• В Google Search Console воспользуйтесь инструментом «Проверка файла robots.txt» — он покажет, какие URL разрешены или заблокированы.
• Проверьте в Google через оператор site:ваш-домен отсутствие в индексе страниц корзины, аккаунта и параметрных URL.
• Мониторьте отчёты по индексации и ошибкам в GSC в течение недели после изменений.

Частые ошибки и их исправление

• Ошибка: robots.txt не обновляется из-за кэша или CDN.
  Решение: Очистите кэш сайта и CDN (Cloudflare, etc.) после правок.
• Ошибка: Директивы блокируют важные страницы.
  Решение: Проверьте, что не блокируете страницы с товарами и категории, только технические.
• Ошибка: Конфликт robots.txt и noindex YoastSEO.
  Решение: Используйте оба метода: robots.txt для блокировки роботов, noindex для запрета индексации страниц.
• Ошибка: Неправильное написание правил с параметрами URL.
  Решение: Используйте шаблоны (wildcards) корректно, проверьте синтаксис.

Практические советы по безопасности и производительности

• Запрещайте индексацию административных и пользовательских страниц через robots.txt и noindex, чтобы не раскрывать внутренние данные.
• Используйте Allow: /wp-admin/admin-ajax.php в robots.txt для корректной работы AJAX-запросов WooCommerce.
• Подключайте sitemap YoastSEO в robots.txt, чтобы поисковики быстрее находили все нужные страницы.
• Регулярно проверяйте robots.txt после обновлений плагинов и тем — иногда они могут изменять его содержимое.

Сравнение вариантов управления robots.txt для WooCommerce