Зачем вам топ? Где находится файл robots txt wordpress


robots txt для wordpress

На Украине сейчас морозы серьезные, не зря февраль на украинском языке пишется “лютый”, точней и не скажешь.

На днях, читательница моего блога, Зоя, просила проконсультировать её по одному вопросу на  блоге и я заметил, что файл robots.txt у нее содержит небольшие ошибки. Следствием этого может являться проблемы с индексацией страниц. После этого я словил себя на мысли, что еще не освещал подобную тему, так созрела идея нового  поста.

Данный вопрос для новичков очень важен, с этим файлом необходимо раз разобраться, правильно составить, загрузить на хостинг и забыть. Для тех, кто ведет блог давно, этот вопрос не вызовет сложностей.

Файл robots.txt является рекомендацией для поисковых роботов и указывает, что нужно индексировать в содержимом вашего блога, а что скрыть от индексации.

Важно для молодого сайта  создать правильный файл robots.txt и разместить его в корневой директории вашего блога. После этого поисковые роботы (Google и Яндекс) будут иметь конкретные директивы , какие записи и посты необходимо индексировать, а которые нет.

Если не корректно составить этот файл, то можно создать огромное количество дублированных страниц, что в свою очередь приведет к попаданию блога под фильтры поисковых систем.

Я представлю вам универсальный пример  файла robots.txt для wordpress, который размещен у меня. На любом блоге этот файл доступен по ссылке вашсайт.ru/robots.txt , где название сайта – его url

Если хотите детально разобраться во всех тонкостях файла, можете почитать тут

Итак, вот скрин моего файла robots.txt, скопировать содержимое можно пройдя по ссылке- http://rabotaiuspeh.com/robots.txt

файл robots.txt для вордпресс

Немного пояснений:

User-agent: * — знак “*” означает, что правила рекомендуют всем поисковым машинам.

User-agent: Yandex — для Яндекса нужно прописывать директиву персонально.

Disallow (англ. не разрешать): cqi-bin — cqi-bin это директория на сервере, где находятся скрипты, предназначенные для выполнения, эта папка находится в корневом каталоге.

Host: rabotaiuspeh.com – это главное зеркало моего  блога

Sitemap: http://rabotaiuspeh.com/sitemap.xml Sitemap: http://rabotaiuspeh.com/sitemap.xml.gz

В последних двух строчках прописан адрес карты сайта для поисковых роботов

Не забудьте изменить внизу на свой url вместо моего  http://rabotaiuspeh.com

А также можете в первую верхнюю часть добавить строки

Disallow: /*?* Disallow: /*?

Я их пока удалил, поскольку избавляюсь от дублей replytocom, которые вызваны древовидными комментариями ( подробности )

Основные правила составления файла robots.txt для wordpress

Важно!

  1. Между записями для одного поисковика в файле  не должно быть пустых строк
  2. Имя “файл robots.txt” пишется только малыми буквами (писать Robots.txt или roBots.Txt не верно!)
  3. Строки

Disallow: /category/*/*

Disallow: /tag/

Прописывайте на ваше усмотрение, я категории закрываю, а теги у меня открыты

4. Если у вас ЧПУ в настройках (ссылки имеют вид http://rabotaiuspeh.com/kak-najjti-i-obezvredit-dubli-stranic-replytocom.html), то данный файл вам подойдет.

Если у вас в настройках стандартные ЧПУ (имеют вид http://rabotaiuspeh.com/?p=123), тогда уберите строку

Disallow:  /*?*

5. Вы всегда можете зайти и подкорректировать файл robots.txt , но не делайте это слишком часто. Не ждите мгновенных изменений в индексации после изменений файла, подождите пару недель, особенно, если у Вас молодой сайт. Помните, что поисковым роботам необходимо время для изменений.

Теперь полученный файл вы должны залить при помощи ftp-клиента в корневую папку вашего блога, если хотите подкорректировать уже существующий, то откройте через Notepad++ , измените и нажмите “сохранить”.

Анализ файла robots.txt и добавление в Яндекс и Google вебмастер

После этого вам желательно зайти в панель вебмастеров Яндекс (по ссылке)

Далее выберите свой сайт и слева “Настройка индексирования” =>>”Анализ robots.txt”

Затем добавляете свой файл robots.txt и проверяете его нажав на “проверить”

robots.txt для Яндекс вебмастер

Для Google проводите подобные действия: регистрируйтесь, добавляйте свой сайт, затем в панели для вебмастеров добавляете для конкретного сайта файл robots.txt.

Теперь вы знаете,  как правильно составить файл robots.txt, на что обратить внимание при его редактировании  и как правильно добавить в панели для вебмастеров Google и Yandex.

здесь ваш рекламный код №1

Если есть вопросы или замечания по теме, пожалуйста пишите в комментариях. Буду признателен, если поделитесь данной статьей в социальных сетях, кнопки в конце поста.

Сегодня финиширует январский конкурс комментаторов, в 24-00 по Москве сделаю скрин, всем участникам  УДАЧИ!

В завершении поста прекрассный захватывающий ролик, приятного просмотра:

До встречи!

Интересные статьи по данной теме:

Как ускорить индексацию сайта в Яндекс и Google

Оптимизация базы данных (MySQL), установка Optimize DB

Внутренняя оптимизация сайта – основные моменты

Как ускорить индексацию страниц сайта – 12 советов

С уважением, Вилков Николай

Хотите в числе первых узнавать о новых статьях и курсах?

Подпишитесь на обновления моего блога и мой канал на YouTube Если статья вам понравилась, поделитесь с друзьями в социальных сетях. Спасибо!

Получать новости первым!

rabotaiuspeh.com

Где находится robots в wordpress?

Дурацкий вопрос, не так ли? Ну, все же знают – какая разница, какая админка, robots.txt – текстовый файл, лежащий в корневой директории. Это даже яндекс в своем хелпе пишет: Robots.txt — текстовый файл, расположенный на сайте, который предназначен для роботов поисковых систем.

И вот я вижу на сайте клиента роботс из строчек:

User-agent: * Disallow: Sitemap: http://mysite.ru/sitemap.xml.gz

Пример не просто так, это станет ясно позже.

Как же тут темно и непонятно! Иногда я вспоминаю, как начинались вебсайты – чистый html, правка только через FTP, и глаза мои наполняются огромной ностальгической слезой:) Потому что, хотя все, что мы видим на экране, физически суть нули и единицы, все же естественно предполагать, что page.html – это страница на html, page.asp – на asp, page.php – на php. Но нет, увы. Коварный прогресс внес свою виртуальную сумятицу в виртуальный мир – теперь можно, например, писать сайт на php, все хранить в базе данных, а выдавать клиенту как php, asp, html, fig, znaet, chto, escho, pridumaesh… И к этому мы привыкли быстро.

Но к тому, что чисто текстовый файл robots.txt правится через админку и по сути является таким же продуктом цмски, хранящимся в БД… Это меня все еще продолжает смущать.

Итак,

Где правится robots.txt в wordpress?

Я залез на FTP, увидел, что текстового файла нет, сжал губы – понял, что эта хрень хранится в БД. Написал свой роботс – залил и… Ничего не изменилось. Хотя приоритет у физического варианта, если так можно назвать текстовый файлик, обязан быть.

Пошел искать в сеть. Нашел только мануал для идиотов: зайдите в админку, найдите слова Options > Robots.txt и правьте… При этом, что примечательно, предупреждение, что если уж правите через wp, то не заливайте настоящий роботс на сервер… Ну да…

Плагины для создания РОБОТС на ВОРДПРЕССе

Не буду вас долго мучить, хотя, пользуясь случаем, передаю привет благодарность человеку, нашедшему, тоже не сразу, решение проблемы – Александр Милевский, прошу любить и жаловаться.

Оказывается, существует плагин Google (XML) Sitemaps Generator for WordPress основное предназначение которого – создание xml-карт. Для удобства идиотов пользователей этот плагин не только генерит карту, но тут же сжимает ее, создает роботс и вписывает адрес сжатой карты туда. Все бы было хорошо… Только при этом он не дает этот роботс править.

Выключение плагина не дало результатов.

Удаление плагина не дало результатов.

Все получилось только когда под косу подложили камень – установили другой плагин для создания и правки robots.txt – KB Robots.Txt

Он переписал в базе данные роботса, созданные предыдущим.

Проблема решена.

Тихая ненависть к облегчателям жизни оптимизаторов осталась:)

VN:F [1.9.7_1111]

Rating: 10.0/10 (3 votes cast)

VN:F [1.9.7_1111]

Как поправить robots.txt в wordpress?, 10.0 out of 10 based on 3 ratings

follow-up.ru

wordpress и robots.txt - самый правильный вариант

robots.txt для wordpress

Правильный robots.txt для wordpress указывает поисковым роботам на правила индексации вашего блога, т.е. что индексировать, а на что закрывать «глаза».Ведь именно этот файл проверяют в первую очередь поисковые машины, заходя на ваш сайт.

О том что такое robots.txt в сети можно найти очень много информации, в т.ч. как этот файл правильно прописать, но все эти статьи либо некорректные либо скопированные друг у друга.

На досуге наткнулся я на пост «Дублированный контент и параметр replytocom«, перепроверил файл robots.txt, оказалось, что он требует корректировки.

В свою очередь, спешу поделиться с Вами, дорогие читатели, с правильным robots.txt для wordpress от Студии-ГОСТ.

Где находится файл robots.txt?

Файл размещается в корневой директории сайта. Например:

http://studio-gost.ru/robots.txt

Настройки robots.txt

1. User-Agent

Это имя поискового робота, к которому применяются нижеследующие правила вплоть до конца абзаца(не допускается пустое значение)

2. Allow и Disallow

Разрешает и, соответственно, запрещает индексацию указанных разделов блога. Allow воспринимают только Гугл и Яндекс, остальные поисковики его не видят.Сначала нужно использовать директиву Allow, а только после нее Disallow. Также между ними не ставятся пустые строки – иначе так робот поймет, что инструкция закончилась. После директивы User-Agent также не допускаются пустые строки.

3. Host

Указывает какое зеркало сайта считать главным для избежания попадания под фильтр. Сайт доступен по нескольким адресам минимум с www и без www, и для избежания полного дублирования страниц.

4. Sitemap

Указывает роботу наличие и адрес карты сайта в формате XML

 

Правильный robots.txt для wordpress

User-agent: * Allow: */uploads Disallow: /cgi-bin Disallow: /wp- Disallow: */feed Disallow: /search Disallow: /xmlrpc.php Disallow: /tag Disallow: /category Disallow: /archive Disallow: */trackback Disallow: /*?* Host: studio-gost.ru Sitemap: http://studio-gost.ru/sitemap.xml

User-agent: *  

Allow: */uploads  

Disallow: /cgi-bin  

Disallow: /wp-  

Disallow: */feed

Disallow: /search

Disallow: /xmlrpc.php  

Disallow: /tag

Disallow: /category

Disallow: /archive

Disallow: */trackback

Disallow: /*?*

          

Host: studio-gost.ru

 

Sitemap: http://studio-gost.ru/sitemap.xml

Директивы Host(главное зеркало сайта) и Sitemap(путь к карте сайта) являются межсекционными и поэтому будут учитываться роботом в любом месте в файле robots.txt. Следовательно, не надо дублировать секцию полностью, ради указания директивы Host для Яндекса.

Проверка robots.txt в инструментах Яндекс и Google

Работоспособность своего файла robots.txt вы всегда можете проверить в вебмастерских разделах поисковиков. При редактировании своего файла я всегда проверяю его на корректность.

Вебмастер яндекс

robots.txt для wordpress

У яндекса (webmaster.yandex.ru) раздел находится в «Настройки индексирования->Анализ Robots.txt«.

Вебмастер google

robots.txt для wordpress

У google (google.com/webmasters) раздел «Состояние->Заблокированные URL«.

Напоследок хочу напомнить, что изменения в robots.txt на уже рабочем блоге будут заметны только спустя 1-3 месяца.

PS Если кто еще знает как можно улучшить Robots.txt пишите в комментариях.

Понравился пост, подпишись на обновления

Понравилась статья? Получай свежие статьи первым по e-mail

[newsletter_signup_form id=0]

studio-gost.ru

Устанавливаем файл robots.txt для wordpress

robots.txtПриветствую вас на своем блоге — Блогомания!!!

Сегодня у нас речь пойдет об очень важном файле, который называется wordpress robots.txt. так для чего же нам нужен этот файл?

wordpress robots.txt — ограничивает доступ к содержимому на вашем блоге, и не дает индексировать те файлы, папки, которые не нужно индексировать. Этот файл должен находиться в корневой папке вашего блога. Так как речь идет о движке wordpress, тогда и писать мы будем robots.txt именно для блога — для движка wordpress….

 

Вот более подробно о robots.txt wordpress из Википедия:

Стандарт исключений для роботов (robots.txt) — файл ограничения доступа к содержимому роботам на http-сервере. Файл должен находиться в корне сайта (то есть иметь путь относительно имени сайта /robots.txt). При наличии нескольких поддоменов файл должен располагаться в корневом каталоге каждого из них. Данный файл дополняет стандарт Sitemaps, который служит прямо противоположной цели: облегчать роботам доступ к содержимому.Использование файла добровольно.

Стандарт был принят консорциумом W3C 30 января 1994 года в списке рассылки [email protected] и с тех пор используется большинством известных поисковых машин.Файл robots.txt используется для частичного управления индексированием сайта поисковыми роботами.

Этот файл состоит из набора инструкций для поисковых машин, при помощи которых можно задать файлы, страницы или каталоги сайта, которые не должны индексироваться.Файл robots.txt может использоваться для указания расположения файла и может показать, что именно нужно, в первую очередь, проиндексировать поисковому роботу.

Устанавливаем файл robots.txt для wordpress

Как я уже говорил выше — на нашем блоге есть куча папок, которые не нужно индексировать, и для этого собственно мы и ставим wordpress robots.txt. он просто будет запирать доступ к этим папкам, и не станет тратить время на их индексацию.Составить wordpress robots.txt очень просто. Составьте у себя на рабочем столе текстовой файл с названием robots.txt и в нем пропишите следующее:

User-agent: * Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /webstat/ Disallow: /feed/ Disallow: /trackback Disallow: */trackback Disallow: */feed Disallow: */comments Disallow: /*?* Disallow: /*? Disallow: /category/*/* Disallow: /wp-content/plugins Disallow: /wp-content/themes Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /comments   User-agent: Yandex Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /webstat/ Disallow: /feed/ Disallow: /trackback Disallow: */trackback Disallow: */feed Disallow: */comments Disallow: /*?* Disallow: /*? Disallow: /category/*/* Disallow: /wp-content/plugins Disallow: /wp-content/themes Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /comments Host: blogomaniy.ru   Sitemap: http://blogomaniy.ru/sitemap.xml Sitemap: http://blogomaniy.ru/sitemap.xml.gz

User-agent: * Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /webstat/ Disallow: /feed/ Disallow: /trackback Disallow: */trackback Disallow: */feed Disallow: */comments Disallow: /*?* Disallow: /*? Disallow: /category/*/* Disallow: /wp-content/plugins Disallow: /wp-content/themes Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /comments User-agent: Yandex Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /webstat/ Disallow: /feed/ Disallow: /trackback Disallow: */trackback Disallow: */feed Disallow: */comments Disallow: /*?* Disallow: /*? Disallow: /category/*/* Disallow: /wp-content/plugins Disallow: /wp-content/themes Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /comments Host: blogomaniy.ru Sitemap: http://blogomaniy.ru/sitemap.xml Sitemap: http://blogomaniy.ru/sitemap.xml.gz

Не забудьте указать вместо моего сайта: http://blogomaniy.ru/ — свой, и будет вам счастье!!!Теперь просто закидывайте wordpress robots.txt в корневую папку, и на этом все.

С уважением, Александр.

Посмотрите еще интересные записи:

Блогостроение robots.txt, wordpress robots.txt

blogomaniy.ru


Смотрите также

Prostoy-Site | Все права защищены © 2018 | Карта сайта