Как оптимизировать файл Robots.txt WordPress для лучшего SEO

Если вам интересно, как оптимизировать файл robots.txt WordPress для улучшения SEO, вы попали по адресу.

В этом кратком руководстве я объясню, что такое файл robots.txt, почему важно улучшить свой рейтинг в результатах поиска, а также как вносить в него изменения и отправлять их в Google.

Давайте погрузимся!

Что такое файл robots.txt в WordPress и нужно ли мне об этом беспокоиться?

Файл robots.txt — это файл на вашем сайте, который позволяет запретить поисковым системам доступ к определенным файлам и папкам. Вы можете использовать его, чтобы заблокировать ботам Google (и других поисковых систем) сканирование определенных страниц вашего сайта. Вот пример файла:

Так как же отказ в доступе к поисковым системам на самом деле улучшает ваш SEO? Кажется нелогичным…

Это работает следующим образом: чем больше страниц на вашем сайте, тем больше страниц Google должен просканировать.

Например, если в вашем блоге много страниц категорий и тегов, эти страницы будут низкого качества и их не нужно сканировать поисковыми системами; они просто поглощают ресурсы вашего сайта краулинговый бюджет (отведенное количество страниц, которые Google будет сканировать на вашем сайте в любой момент времени).

Бюджет сканирования важен, поскольку он определяет, насколько быстро Google улавливает изменения на вашем сайте и, следовательно, как быстро вы занимаете позиции. Это может особенно помочь с SEO для электронной коммерции!

Просто будьте осторожны и делайте это правильно, так как это может навредить вашему SEO, если все сделано плохо. Дополнительную информацию о том, как правильно неиндексировать нужные страницы, см. это руководство от DeepCrawl.

Итак, вам нужно возиться с файлом robots.txt в WordPress?

Возможно, если вы находитесь в высококонкурентной нише с большим сайтом. Если вы только начинаю свой первый блогоднако, создание ссылок на ваш контент и создание большого количества высококачественных статей являются более важными приоритетами.

Как оптимизировать файл robots.txt WordPress для лучшего SEO

Теперь давайте обсудим, как на самом деле получить доступ (или создать) и оптимизировать файл robots.txt в WordPress.

Robots.txt обычно находится в корневой папке вашего сайта. Вам нужно будет подключиться к вашему сайту с помощью FTP-клиент или с помощью файлового менеджера вашей cPanel для его просмотра. Это обычный текстовый файл, который затем можно открыть с помощью Блокнота.

Если у вас нет файла robots.txt в корневом каталоге вашего сайта, вы можете его создать. Все, что вам нужно сделать, это создать новый текстовый файл на своем компьютере и сохранить его как robots.txt. Затем просто загрузите его в корневую папку вашего сайта.

Как выглядит идеальный файл robots.txt?

Формат файла robots.txt очень прост. В первой строке обычно указывается пользовательский агент. Пользовательский агент — это имя поискового бота, с которым вы пытаетесь связаться. Например, Googlebot или Bingbot. Вы можете использовать звездочку * для указания всем ботам.

В следующей строке следует Позволять или Запретить инструкции для поисковых систем, чтобы они знали, какие части вы хотите, чтобы они индексировали, а какие нет.

Вот пример:

Пользовательский агент: * Разрешить: /?display=wide Разрешить: /wp-content/uploads/ Запретить: /readme.html Запретить: /refer/ Карта сайта: Карта сайта: Карта сайта: Карта сайта:

Обратите внимание: если вы используете такой плагин, как Yoast или All in One SEO, вам, возможно, не понадобится добавлять раздел карты сайта, поскольку они пытаются сделать это автоматически. Если это не удается, вы можете добавить его вручную, как в примере выше.

Что мне следует запретить или запретить индексировать?

В рекомендациях Google для веб-мастеров они советуют веб-мастерам не использовать файл robots.txt для сокрытия некачественного контента. Таким образом, использование файла robots.txt, чтобы запретить Google индексировать вашу категорию, дату и другие страницы архива, может быть неразумным выбором.

Помните, что цель файла robots.txt — указать ботам, что делать с содержимым, которое они сканируют на вашем сайте. Это не мешает им сканировать ваш сайт.

Кроме того, вам не нужно добавлять страницу входа в WordPress, каталог администратора или страницу регистрации в robots.txt, поскольку на страницах входа и регистрации WordPress автоматически добавляет тег noindex.

Однако я рекомендую вам запретите файл readme.html в файле robots.txt. Этот файл readme может быть использован кем-то, кто пытается выяснить, какую версию WordPress вы используете. Если это человек, он может легко получить доступ к файлу, просто перейдя к нему. Кроме того, установка тега запрета может блокировать вредоносные атаки.

Как отправить файл robots.txt WordPress в Google?

После того как вы обновили или создали файл robots.txt, вы можете отправить его в Google с помощью Google Search Console.

Однако я рекомендую сначала протестировать его, используя Инструмент тестирования robots.txt от Google.

Если вы не видите здесь созданную вами версию, вам придется повторно загрузить созданный вами файл robots.txt на свой сайт WordPress. Ты можешь сделайте это с помощью Yoast SEO.

Заключение

Теперь вы знаете, как оптимизировать файл robots.txt WordPress для улучшения SEO.

Не забывайте соблюдать осторожность при внесении каких-либо серьезных изменений на свой сайт с помощью файла robots.txt. Хотя эти изменения могут улучшить ваш поисковый трафик, они также могут принести больше вреда, чем пользы, если вы не будете осторожны.

А если вам не терпится узнать больше, посетите наш полный обзор руководств по WordPress!

Дайте нам знать об этом в комментариях; Есть ли у вас вопросы о том, как оптимизировать файл robots.txt в WordPress? Какое влияние оказала забота об этом на ваш рейтинг в поисковых системах?

Бесплатное руководство

4 основных шага для ускорения
Ваш сайт WordPress

Следуйте простым шагам из нашей мини-серии из 4 частей.
и сократите время загрузки на 50-80%. 🚀