Как настроить robots.txt для WordPress: что закрывать, а что не трогать

Если у WordPress-сайта есть лишние служебные разделы, дубли страниц или мусорные URL, первым делом обычно смотрят в robots.txt. Но этот файл не лечит SEO-проблемы сам по себе: он лишь подсказывает поисковым роботам, что не стоит обходить. Поэтому здесь важно не «закрыть побольше», а аккуратно ограничить обход только там, где это действительно нужно.

Для типового WordPress-сайта рабочий подход простой: не трогать публичные страницы, не закрывать важные CSS и JS, а в robots.txt оставить только то, что не должно тратить краулинговый бюджет и не несёт пользы в поиске. Ниже — схема, которую можно применить без лишних экспериментов.

Что делает robots.txt в WordPress

robots.txt лежит в корне сайта и читается поисковыми роботами до обхода страниц. Его задача — не запретить индексацию как таковую, а ограничить обход отдельных путей. Это важное различие: если URL уже известен поисковику, запрет в robots.txt не гарантирует исчезновение страницы из индекса. Для этого нужны другие механизмы, например мета-тег noindex или заголовок X-Robots-Tag, но это уже отдельная задача.

Для WordPress файл особенно полезен, когда на сайте есть:

• служебные каталоги и скрипты, которые не нужны в поиске;
• страницы внутреннего поиска;
• архивы и параметры, создающие много бесполезных URL;
• технические разделы админки, которые не должны обходиться роботами.

При этом нельзя рассчитывать, что robots.txt решит все SEO-вопросы. Если закрыть им нужные ресурсы, робот может хуже рендерить страницу и оценивать её содержимое. Поэтому главный принцип — закрывать только то, что не участвует в показе сайта пользователю и не должно обходиться поисковиком.

Что обычно закрывают на WordPress-сайте

Для большинства сайтов имеет смысл ограничить обход следующих разделов:

• /wp-admin/ — административная часть;
• /wp-includes/ — служебные файлы ядра;
• /wp-content/uploads/ — только если у вас есть отдельная причина скрывать часть файлов, но в типовом случае этот каталог не закрывают целиком;
• внутренний поиск, если он создаёт много бесполезных URL;
• технические параметры и служебные страницы, которые не нужны в поиске.

Самая частая ошибка — закрыть весь /wp-content/. Так делать не стоит: внутри этого каталога лежат темы, плагины, изображения и другие файлы, которые поисковик может использовать для корректного отображения страницы. Если заблокировать доступ к CSS и JS, робот может увидеть страницу не так, как пользователь, и это иногда мешает оценке качества.

Ещё одна типичная ошибка — закрывать страницы, которые должны ранжироваться: записи, рубрики, страницы, медиа-страницы, если они вам нужны в поиске. robots.txt не должен мешать обходу основного контента.

Рабочий пример robots.txt для типового WordPress

Ниже — базовый вариант, с которого обычно удобно начинать. Он не выдуман «для красоты», а отражает типовую логику: закрыть админку и служебные файлы, но не мешать поисковику видеть публичные ресурсы сайта.

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-includes/
Disallow: /?s=
Disallow: /search/

Sitemap: https://wpbuy.ru/sitemap.xml

Что здесь важно:

• User-agent: * — правила для всех роботов;
• Disallow: /wp-admin/ — закрывает административный раздел;
• Allow: /wp-admin/admin-ajax.php — оставляет доступ к AJAX-обработчику, который нужен многим темам и плагинам;
• Disallow: /wp-includes/ — ограничивает обход служебных файлов ядра;
• Disallow: /?s= и Disallow: /search/ — уменьшают обход страниц внутреннего поиска;
• Sitemap — помогает поисковикам быстрее находить нужные URL.

Если у вас на сайте карта сайта лежит по другому адресу, укажите именно её. На WordPress это зависит от плагина SEO или генератора sitemap. Адрес должен быть реальным и открываться без авторизации.

Что лучше не добавлять в robots.txt

Есть несколько правил, которые часто копируют из чужих примеров, но на обычном WordPress-сайте они либо бесполезны, либо вредны.

Не закрывайте весь сайт от CSS и JS

Иногда в старых шаблонах встречаются запреты на папки с файлами стилей и скриптов. Для современного WordPress это плохая идея. Поисковик должен видеть страницу примерно так же, как браузер пользователя. Если он не может загрузить стили и скрипты, анализ страницы становится менее точным.

Не закрывайте публичные изображения без причины

Каталог /uploads/ часто содержит изображения, которые нужны в поиске и в сниппетах. Закрывать его целиком имеет смысл только в редком сценарии, когда вы сознательно хотите скрыть медиафайлы от обхода. Для обычного сайта это лишнее ограничение.

Не пытайтесь через robots.txt убрать уже известные страницы из индекса

Если страница уже попала в поиск, запрет обхода не всегда приводит к её исчезновению. Более того, поисковик может сохранить URL в индексе без содержимого. Если задача именно в удалении из индекса, нужен другой механизм, а не только robots.txt.

Как понять, что именно стоит закрыть у вас

Схема зависит от структуры сайта. Для типового проекта достаточно пройтись по нескольким вопросам:

• есть ли внутренний поиск, который создаёт много мусорных URL;
• нужны ли в поиске служебные страницы автора, архивы по датам или другие дубли;
• есть ли отдельные технические разделы, которые не должны обходиться;
• не ломает ли текущий шаблон загрузку ресурсов, если ограничить доступ к служебным папкам.

Если сайт небольшой и без сложной структуры, часто достаточно минимального файла с закрытием /wp-admin/ и /wp-includes/, плюс указание карты сайта. Чем меньше лишних правил, тем ниже риск случайно перекрыть полезный обход.

Если у вас много служебных URL, сначала посмотрите, какие именно адреса создаются. Для этого удобно открыть отчёты поисковой консоли или просто проверить логи обхода, если они доступны. Закрывать стоит не «по привычке», а по факту появления лишних URL.

Как проверить, что robots.txt настроен правильно

После правки файла проверьте три вещи.

1. Файл открывается по адресу https://ваш-домен/robots.txt и отдаёт актуальное содержимое.
2. В нём нет запрета на важные публичные ресурсы, которые должны обходиться поисковиком.
3. Ссылка на sitemap ведёт на существующую карту сайта.

Если используете Google Search Console, проверьте файл через инструмент проверки robots.txt или через тестирование URL. Это помогает увидеть, не заблокирован ли нужный путь случайно. Для Яндекс.Вебмастера логика похожая: важно убедиться, что бот видит разрешённые страницы и не упирается в лишние запреты.

Ещё один практический тест — открыть несколько страниц сайта в браузере и посмотреть, не завязаны ли они на файлы из закрытых каталогов. Если после правки robots.txt страница выглядит сломанной или не подгружаются стили, значит вы закрыли слишком много.

Где редактировать robots.txt в WordPress

На WordPress файл можно править несколькими способами. Самый безопасный для большинства владельцев сайта — через SEO-плагин или файловый менеджер хостинга, если вы понимаете, что делаете. Важно помнить: если физического файла robots.txt нет, WordPress может отдавать виртуальную версию через систему перезаписи. Тогда изменения в панели плагина будут работать, даже если в корне сайта файла не видно.

Если редактируете файл вручную, сначала сделайте копию текущего содержимого. Ошибка в синтаксисе не всегда ломает сайт, но может полностью изменить поведение роботов. Особенно аккуратно относитесь к лишним пробелам, неверным путям и случайным запретам на корень сайта.

Для типового WordPress-сайта хороший robots.txt обычно короткий. Он не должен превращаться в список всех возможных запретов. Чем понятнее и скромнее файл, тем проще его поддерживать и тем меньше шанс навредить обходу важных страниц.