Как оптимизировать файл robots.txt для WordPress

Файл robots.txt — один из ключевых инструментов для управления индексацией сайта поисковыми системами. Правильная настройка этого файла помогает улучшить SEO, защищает от индексации ненужных страниц и оптимизирует бюджет сканирования сайта.

Что такое robots.txt и зачем он нужен в WordPress

robots.txt — это простой текстовый файл, размещаемый в корневой директории сайта, который сообщает роботам поисковых систем, какие страницы и разделы сайта можно или нельзя индексировать. Для WordPress, где динамически генерируется большое количество страниц (архивы, категории, теги, страницы входа и админки), грамотная настройка особенно важна, чтобы не допустить индексации технических и дублирующих URL.

Без правильно настроенного robots.txt поисковые системы могут тратить ресурсы на сканирование бесполезных страниц, что снижает эффективность индексации и может повредить ранжированию.

Типичные ошибки в robots.txt для WordPress и их последствия

Часто встречаются такие ошибки:

• Блокировка CSS и JS-файлов: Многие новички запрещают сканирование папок с CSS и скриптами. Это приводит к тому, что Google не может правильно отобразить страницу и ухудшает ранжирование.
• Блокировка важных страниц: Например, запрет на индексацию каталога медиафайлов или страницы с контактами и блогом.
• Неиспользование директив Sitemap: Без указания пути к карте сайта роботы дольше находят новые страницы.

Из-за этих ошибок можно потерять трафик и ухудшить SEO-позиции.

Оптимальная структура robots.txt для WordPress

Создадим пример оптимального файла robots.txt для WordPress:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-login.php
Disallow: /cgi-bin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://yoastseo.ru/sitemap_index.xml

Объяснение:

• User-agent: * — правило применяется ко всем роботам.
• Disallow: /wp-admin/ — запрещаем индексацию панели администрирования.
• Disallow: /wp-includes/ — запрещаем системные файлы.
• Disallow: /wp-login.php — запрещаем страницу входа.
• Allow: /wp-admin/admin-ajax.php — разрешаем доступ к ajax-обработчику, необходимому для работы многих плагинов.
• Sitemap — указываем путь к карте сайта для быстрого обнаружения страниц.

Как создать и редактировать robots.txt в WordPress с помощью плагинов

Редактировать файл robots.txt напрямую через FTP не всегда удобно, особенно новичкам. Есть несколько популярных плагинов, которые позволяют управлять этим файлом через админ-панель:

Плагин Yoast SEO

Yoast SEO имеет встроенный редактор robots.txt:

1. Перейдите в SEO > Инструменты.
2. Выберите Редактор файлов.
3. Если файл robots.txt отсутствует, плагин предложит создать его.
4. Внесите необходимые изменения и сохраните.

Yoast SEO также генерирует sitemap, который можно указать в robots.txt.

Плагин Rank Math SEO

Rank Math тоже позволяет легко управлять robots.txt:

1. В панели WordPress перейдите в Rank Math > Общие настройки > Robots.txt.
2. Добавьте или измените правила.
3. Сохраните изменения.

Решение частой задачи: блокировка пагинации и архивов тегов

Пагинация и архивы тегов часто создают дублированный контент, который может ухудшить SEO. Чтобы избежать индексации этих разделов, в robots.txt добавляют:

Disallow: /page/
Disallow: /tag/

Однако лучше использовать мета-теги noindex для таких страниц, так как robots.txt запрещает сканирование, но не гарантирует удаление из индекса.

Пример добавления мета-тега в header.php темы:

<?php
yoastseo_add_noindex_to_pagination() {
    if ( is_paged() || is_tag() ) {
        echo '<meta name="robots" content="noindex, follow">';
    }
}
add_action( 'wp_head', 'yoastseo_add_noindex_to_pagination' );
?>

Дополнительные советы по оптимизации robots.txt

1. Проверьте файл robots.txt с помощью Google Search Console. В разделе «Проверка файла robots.txt» можно увидеть, как Googlebot обрабатывает ваши правила.

2. Не блокируйте CSS и JS. Для корректного рендеринга страниц поисковики должны иметь доступ к этим ресурсам.

3. Регулярно обновляйте robots.txt. При добавлении новых плагинов или изменении структуры сайта файл может требовать корректировки.

4. Используйте директивы Crawl-delay, если сервер перегружен. Например:
Crawl-delay: 10 замедлит сканирование.

Как проверить эффективность robots.txt

После настройки важно убедиться, что файл работает корректно и не блокирует важные страницы:

• Используйте инструмент Google Search Console для проверки.
• Проверьте через https://www.robots-txt.com/ или аналогичные сервисы.
• Проверьте логи сервера на предмет ошибок индексации.

Если всё настроено правильно, вы увидите улучшение сканирования и индексации сайта.