Генератор robots.txt NeoSeo - Модуль для Opencart. Robots txt для opencart


Какой правильный robots.txt для WordPress и OpenCart. Зачем нужен файл robots.txt

В статье про карту сайта для поисковиков (sitemap.xml) мы писали что существует еще такое понятие как robots.txt который нужен каждому сайту. В этой статье мы с вами обсудим зачем вообще нужен этот файл, для чего он, и как его правильно настроить для двух самых полулярных движков: WordPress — движок для блогов, и OpenCart — движок для магазинов.

Сразу оговорюсь, эта статья очень важна, ведь неправильно настроенный файл robots.txt может привести к тому что у вас сайт вообще не будет индексироваться, хоть у вас будет на 100% уникальный контент.

Зачем нужен  robots.txt и что он делает?

Обычным пользователям понадобилось искать какую-то информацию со времени появления интернета. Но в то время сайт состоял из простых файлов .html, которые были между собой перелинкованные. Поисковикам было понятно что индексировать. Зашел в корень сайта, и индексируй все, ведь все файлы HTML это и есть контент для пользователей ресурса.

Но с того времени много воды утекло, HTML страницами уже никто не пользуется, а CMS все сложнее и сложнее. Более того сейчас весь контент, текст, храниться не в файлах, а в базах данных, а уже от туда достается по требованию php скриптами. Естественно, из-за этого файлы на сайте поделились на две части, первая — которую не надо индексировать потому что они относятся к файлам движка, а вторая которую наоборот надо индексировать.

Чтобы сэкономить время поисковику и дать понять какие файлы стоят его внимания а какие нет, существует файл robots.txt. Точнее у него есть две миссии:

  1. Показать какие файлы не надо индексировать
  2. Дать ссылку на карту сайта, а она покажет какие статьи надо индексировать.

Также это важно, потому что на каждый сайт поисковый робот уделяет какое-то время. По истечении этого времени он уходит, и вполне может не посмотреть что у вас еще есть страницы которые не попали в индекс. Для того чтобы все 100% времени он занимался тем чем надо вам требуется всего лишь правильно настроить robots.txt для OpenCart и WordPress

Какой правильный robots.txt для WordPress, OpenCart

Чтобы не разводить полемику, я решил сначала выложить правильные файлы для двух самых популярных CMS, а потом объяснить почему именно так. Также в следующем абзаце мы рассмотрим синтаксис этого файла.

Итак, для WordPress вам надо создать пустой документ в блокноте. Назвать его robots и сохранить в формате txt. Пользователи Mac OS могут воспользоваться любым другим удобным редактором. Лично я использую SubEthaEdit.

В этот файл вам надо скопировать текст который вы можете взять из моего файла Robots.txt. Само собой что вам надо будет в строчках:

Host: napositive.com.ua Sitemap: http://napositive.com.ua/sitemap.xml.gz Sitemap: http://napositive.com.ua/sitemap.xml

Поменять мой домен, на домен вашего блога.

После чего загрузите файл в корень сайта. Чтобы проверить что файл нормально работает перейдите по адресу http://napositive.com.ua/robots.txt Домен этого блога, который я подчеркнул, замените на свой.

Что касается OpenCart, то тут все сложнее. Поскольку в магазине кроме стандартных ссылок есть еще функции фильтрации товара, отображение товара и.т.д. Поэтому файл будет чуть длиннее и тяжелее. Хороший, а самое главное, не раз проверенный файл robots.txt вы можете посмотреть тут

Опять же, надо заменить в строках:

Host: Vash_domen Sitemap: http://Vash_domen/sitemap.xml Vash_domen на ваш домен.

Синтаксиис robots.txt

Как вы видели в файлах выше, параметров в файле очень мало. Давайте разберем что они означают, чтобы лучше понимать. Возможно вам эта информация поможет, если захотите самостоятельно закрыть ту или иную страницу от индексации.

Если у вас остались какие-то вопросы, напишите мне в комментариях, попробую вам помочь.

загрузка...

Об авторе
Andrey
Andrey

Администратор блога. Специалист по маркетингу, развитию бизнеса, здоровому образу жизни. Владелец и директор двух компаний в Украине. Сертифицированный специалист Apple. Увлечения: бизнес, спорт, дайвинг.

napositive.com.ua

Правильные robots.txt для WordPress, Joomla, uCoz, OpenCart, Drupal, DLE

Продвижение сайтов самостоятельно | Внутренняя оптимизация сайта

В прошлой статье мы подробно рассмотрели, как правильно составить файл robots.txt. Из каких директив он состоит, как управлять роботами ПС и индексацией. В этой статье я хочу выложить готовые и проверенные файлы robots.txt для основных CMS.

Правильный robots.txt для WordPress

Самый популярный движок WordPress стоит на огромном количестве блогов. Поэтому начнем с него. Файл robots.txt для WordPress

User-agent: *Disallow: /cgi-binDisallow: /wp-adminDisallow: /wp-includesDisallow: /wp-content/pluginsDisallow: /wp-content/cacheDisallow: /wp-content/themesDisallow: /trackbackDisallow: */trackbackDisallow: */*/trackbackDisallow: */*/feed/*/Disallow: */feedDisallow: /*?*

User-agent: YandexDisallow: /cgi-binDisallow: /wp-adminDisallow: /wp-includesDisallow: /wp-content/pluginsDisallow: /wp-content/cacheDisallow: /wp-content/themesDisallow: /trackbackDisallow: */trackbackDisallow: */*/trackbackDisallow: */*/feed/*/Disallow: */feedDisallow: /*?*Host: seob.infoSitemap: /sitemap.xml

Он отличается от того robots.txt, что советую официальные разработчики WordPress. Но, на мой взгляд, это самый оптимальный вариант настройки.

Правильный robots.txt для Joomla

Следующая CMS по популярности - Джумла. Сделаем совсем небольшие изменения в официальной версии robots.txt. А именно пропишем host и sitemap и мы получим правильный файл robots.txt для Joomla

User-agent: *Disallow: /administrator/Disallow: /cache/Disallow: /includes/Disallow: /installation/Disallow: /language/Disallow: /libraries/Disallow: /media/Disallow: /modules/Disallow: /plugins/Disallow: /templates/Disallow: /tmp/Disallow: /xmlrpc/

User-agent: YandexDisallow: /administrator/Disallow: /cache/Disallow: /includes/Disallow: /installation/Disallow: /language/Disallow: /libraries/Disallow: /media/Disallow: /modules/Disallow: /plugins/Disallow: /templates/Disallow: /tmp/Disallow: /xmlrpc/Host: seob.infoSitemap: /sitemap.xml

Файл robots.txt для uCoz

На бесплатной платформе uCoz когда вы делаете сайт, там по умолчанию подгружается настроенный системой файл robots.txt. Но бывают случаи, когда надо его изменить. Например, дописать директивы закрытия каких-то страниц. Но многие не знаю где же найти robots.txt на uCoz. Прикол в том, что его на сайте нет, он подгружается из системы. Поэтому если вас не устраивает тот, что есть по умолчанию его надо создать. Создаем в блокноте файл с названием robots.txt, пишем в него дрективы и загружаем в корень сайта. Ниже приведен пример стандартного файла robots.txt для uCoz

User-agent: * Disallow: /a/ Disallow: /stat/ Disallow: /index/1 Disallow: /index/2 Disallow: /index/3 Disallow: /index/5 Disallow: /index/7 Disallow: /index/8 Disallow: /index/9 Disallow: /panel/ Disallow: /admin/ Disallow: /secure/ Disallow: /informer/ Disallow: /mchat Disallow: /search Disallow: /shop/order/ Disallow: /?ssid=

Sitemap: //forum.ucoz.ru/sitemap.xml Sitemap: //forum.ucoz.ru/sitemap-forum.xml Sitemap: //forum.ucoz.ru/sitemap-shop.xml

Robots.txt для OpenCart

Набирающий популярность движок для создания онлайн OpenCart я тоже не могу обойти стороной. Файл robots.txt для OpenCart имеет такую структуру:

User-agent: *Disallow: /*route=account/Disallow: /*route=affiliate/Disallow: /*route=checkout/Disallow: /*route=product/searchDisallow: /index.php?route=product/product*&manufacturer_id=Disallow: /adminDisallow: /catalogDisallow: /downloadDisallow: /exportDisallow: /systemDisallow: /*?sort=Disallow: /*&sort=Disallow: /*?order=Disallow: /*&order=Disallow: /*?limit=Disallow: /*&limit=Disallow: /*?filter_name=Disallow: /*&filter_name=Disallow: /*?filter_sub_category=Disallow: /*&filter_sub_category=Disallow: /*?filter_description=Disallow: /*&filter_description=Disallow: /*?tracking=Disallow: /*&tracking=Disallow: /*?page=Disallow: /*&page=Disallow: /wishlistDisallow: /loginDisallow: /index.php?route=product/manufacturerDisallow: /index.php?route=product/compareDisallow: /index.php?route=product/categoryHost: seob.infoSitemap: /sitemap.xml

Robots.txt для CMS Drupal

Для друпала правильный robots.txt будет таким:

User-agent: *Disallow: /database/Disallow: /includes/Disallow: /misc/Disallow: /modules/Disallow: /sites/Disallow: /themes/Disallow: /scripts/Disallow: /updates/Disallow: /profiles/Disallow: /xmlrpc.phpDisallow: /cron.phpDisallow: /update.phpDisallow: /install.phpDisallow: /index.phpDisallow: /admin/Disallow: /comment/reply/Disallow: /contact/Disallow: /logout/Disallow: /search/Disallow: /user/register/Disallow: /user/password/Disallow: /user/login/Disallow: /top-rated-Disallow: /messages/Disallow: /book/export/Disallow: /user2userpoints/Disallow: /myuserpoints/Disallow: /tagadelic/Disallow: /referral/Disallow: /aggregator/Disallow: /files/pin/Disallow: /your-votesDisallow: /comments/recentSitemap: //noindex.by/sitemap.xmlDisallow: /*/edit/Disallow: /*/delete/Disallow: /*/export/html/Disallow: /taxonomy/term/*/0$Disallow: /*/edit$Disallow: /*/outline$Disallow: /*/revisions$Disallow: /*/contact$Disallow: /*downloadpipeDisallow: /node$Disallow: /node/*/track$Disallow: /*&Disallow: /*%Disallow: /*?page=0Allow: /*?page=Disallow: /*?Host: seob.infoSitemap: /sitemap.xml

Файл robots.txt DLE

Часто возникают вопросы по настройке индексации Datalife Engine. Рекомендованный robots.txt для DLE примерно такой.

User-agent: *Disallow: /*printDisallow: /autobackup.phpDisallow: /admin.phpDisallow: /engine/go.phpDisallow: /user/Disallow: /newposts/Disallow: /favorites/Disallow: /statistics.htmlDisallow: /*subaction=userinfoDisallow: /*do=lastcommentsDisallow: /*do=feedbackDisallow: /*do=registerHost: seob.infoSitemap: /sitemap.xml

В следующей статье рассмотрим вопрос ошибки при оптимизации страниц

Оглавление

seob.info

Генератор robots.txt NeoSeo - Модуль для Opencart

Название файла Имя файла Дата Действие
NeoSeo Генератор robots.txt для OC1.5 \ PHP5.3 opencart_file_12708.zip 2017-04-18 11:04:11 Платный файл
NeoSeo Генератор robots.txt для OC1.5 \ PHP7.0 opencart_file_5836.zip 2017-04-18 11:04:14 Платный файл
NeoSeo Генератор robots.txt для OC2.0 \ PHP5.3 opencart_file_12053.zip 2017-04-18 11:04:18 Платный файл
NeoSeo Генератор robots.txt для OC2.0 \ PHP7.0 opencart_file_5628.zip 2017-04-18 11:04:22 Платный файл
NeoSeo Генератор robots.txt для OC2.1 \ PHP5.3 opencart_file_14080.zip 2017-04-18 11:04:27 Платный файл
NeoSeo Генератор robots.txt для OC2.1 \ PHP7.0 opencart_file_13854.zip 2017-04-18 11:04:36 Платный файл
NeoSeo Генератор robots.txt для OC2.2 \ PHP5.3 opencart_file_6212.zip 2017-04-18 11:04:54 Платный файл
NeoSeo Генератор robots.txt для OC2.2 \ PHP7.0 opencart_file_12496.zip 2017-04-18 11:04:05 Платный файл
NeoSeo Генератор robots.txt для OC2.3 \ PHP5.3 opencart_file_7789.zip 2017-04-18 11:04:13 Платный файл
NeoSeo Генератор robots.txt для OC2.3 \ PHP7.0 opencart_file_7004.zip 2017-04-18 11:04:18 Платный файл

* Возможность скачивания появится после покупки

Первый, ну или второй шаг по продвижению сайта это создание файла robots.txt. Файл robots.txt является руководством по индексированию сайта для роботов и нужен для того, чтобы роботы понимали какие страницы можно сканировать, а какие - нельзя. Все это хорошо, скажете вы, но нужен ли модуль для формирования robots.txt, если есть куча готовых примеров. Да, нужен, и вот почему. Берем одну из строчек шаблона готового примера:

Код:

Disallow: /*route=account/ 

Это означает что робот не должен сканировать разделы сайта, относящиеся к личному кабинету. Все хорошо? Нет! Наверняка у вас стоит менеджер ЧПУ для технических разделов сайта и тогда авторизация в личном кабинете выглядит вот так:

А это означает что вышеописанное правило уже не подходит для этой ссылки. Что же делать? Вам нужно выяснить какие ссылки соответствуют каждому техническому разделу сайта и вписать их вместо общих, но уже бесполезных конструкций. Соответственно вместо этого:

Код:

Disallow: /*route=account/ 

У вас должно быть, скоре всего, вот так:

Код:

Disallow:/account Disallow:/register Disallow:/login Disallow:/logout Disallow:/lost-password Disallow:/edit-account Disallow:/addresses Disallow:/vouchers Disallow:/reward-points Disallow:/wishlist Disallow:/newsletter Disallow:/orders Disallow:/transactions Disallow:/returns Disallow:/request-return Disallow:/downloads 

Вы не хотите ручками проверять каждую из 30-ти технических ссылок и вписывать их в файл по 2 раза? Покупайте наш модуль и избавьте себя от головной боли!  

Пробуйте бесплатно

- напишите на почту: [email protected], и мы выдадим вам тестовую лицензию на 14 дней, чтобы вы все прощупали своими руками.

 

ВСЕ ОБНОВЛЕНИЯ, КОТОРЫЕ МЫ ВЫПУСТИМ ДЛЯ ЭТОЙ ВЕРСИИ МОДУЛЯ БУДУТ ДОСТУПНЫ БЕСПЛАТНО И ПОЖИЗНЕННО.

 

Лицензионные условия.

 

 

Пожалуйста, внимательно читайте то, что написано на странице каждого модуля в инструкции по установке и обновлениям:

 

1. Запросите ключ лицензии и файлы модуля по email [email protected], при этом укажите:

- название сайта, на котором вы купили модуль. Например, opencartforum.com

- ваше имя на этом сайте (ник-нейм),

- номер заказа на этом сайте, например, 355446

- основной домен сайта для активации лицензии, например, https://neoseo.com.ua

- версию OpenCart

- версию php

 

2. Распакуйте и загрузите ключ в корень сайта, рядом с robots.txt

 

3. Распакуйте архив с модулем и загрузите содержимое папки upload на сайт

 

4. Установите модуль посредством меню Дополнения / Модули

 

5. Установите права на просмотр модуля нужным пользователям

 

6. Зайдите в настройки модуля, укажите нужные параметры и сохраните настройки.

 

ВАЖНО! Если вы видите сообщение о том, что файл лицензии не найден, не переходите к этапу #7.

В таком случае ознакомьтесь со статьей https://support.neoseo.com.ua/knowledge_base/item/106789?sid=23542

или напишите нам на [email protected], мы поможем выявить причину не активации лицензии. Если вы убедились в том, что модуль видит лицензию, вы можете переходить к следующему пункту.

 

7. Обновите модификаторы (Дополнения / Модификаторы

 

Общий порядок обновления модулей:

 

1. Распакуйте архив с модулем и загрузите содержимое папки upload на сайт

2. Зайдите в настройки модуля и выполните сохранение настроек.

ВАЖНО! Если Вы видите сообщение о том, что файл лицензии не найден не переходите к этапу #3. В таком случае ознакомьтесь со статьей https://support.neoseo.com.ua/knowledge_base/item/106789?sid=23542

или напишите нам на [email protected], мы поможем выявить причину не активации лицензии. Если вы убедились в том, что модуль видит лицензию, вы можете переходить к следующему пункту.

 

3. Обновите модификаторы (Дополнения / Модификаторы)

 

Советы:

 

1. Для корректной работы основной версии магазина, создавайте тестовое окружение, где вы сможете тестировать работу любого функционала. Поверьте, даже самое самое, оттестированное 100 раз ПО, именно на вашем сайте может "заглючить" и привести сайт в нерабочее состояние. Создать тестовое окружение не сложно, а выгода очевидна. В случае, если перестанет работать тестовое окружение, вы ничего не потеряете, а вот когда ошибки вредят прямым продажам на рабочем сайте, вы теряете доходы и прибыль.

2. Если вы не сильны в установке модулей, лучше доверить эту задачу профессионалам, мы с удовольствием поможем вам за скромную оплату труда.

ВНИМАНИЕ: 1. Нельзя скачивать обновления и устанавливать их на рабочий сайт не имея ключа лицензии.

 

Пробуйте бесплатно!

Напишите на почту: [email protected] и мы выдадим вам тестовую лицензию на 14 дней!

 

Важно. Условия бесплатной и платной

информационной и технической поддержки.

 

Поскольку мы уверены в том, что любая Качественная работа должна оплачиваться, все консультации, требующие предварительной подготовки ответа у нас платные, в т.ч. и разборы по ситуациям а-ля: «посмотрите, а почему тут ВАШ модуль не работает?,  "я установил модуль, а почему тут посыпались ошибки? ВАШ модуль поломал мне сайт, срочно всё исправьте! и т.д."

 

Очень важный момент! - если ответ на Ваш вопрос уже у нас готов, Вы его получите бесплатно, но если для того, чтобы ответить нужно потратить время на то, чтобы разобраться в вопросе, изучить файлы, найти ошибку и подумать, прежде, чем что-то ответить, попросим оплатить.

 

После того, как мы ввели беспрецедентно выгодную для Клиентов систему с поминутной тарификацией оплаты труда наших специалистов, мы вынуждены были сделать все консультации, где требуется глубокое погружение программистов платными, поскольку:

 

а) на качественные ответы тратится очень много времени, того времени, которое наши программисты могли бы потратить на непосредственное выполнение уже оплаченных и ожидающих в очереди задач.

б) мы не закладываем в стоимость работ время на ответы, консультации и т.д. Кому-то они нужны, а кому-то нет. У нас все платят поминутно и ровно за то время, которое потрачено на их благо.

 

  Цитата

И не стоит опасаться платной консультации, ведь 15 мин. помощи эксперта могут сэкономить много денег, а стоит это, всего навсего 5$!

Если у Вас есть вопросы, пожалуйста,  напишите в ЛС или на [email protected] или позвоните нам:

Россия, все звонки бесплатно

8 800 551 94 15

Украина:

+380 67 67 07 647

+380 63 71 70 763

+380 50 34 58 565

МЫ РАБОТАЕМ:

Понедельник-пятница с 9-00 до 19-00 по Киевскому времени GMT+2

Суббота и Воскресенье

- выходные дни!

 

Более детальную информацию о том, как мы работаем, Вы можете прочитать на нашем сайте.

 

Преимущества модулей от NeoSeo:

1-ое преимущество

- только практика, только проверенные и продуманные решения для рынка СНГ. Каждый наш продукт, будь-то Интернет-магазин в целом или

shop.opencart-russia.ru

robots.txt для opencart | SPECIALIST SEO

User-agent: * Disallow: /admin Disallow: /cache Disallow: /niks Disallow: /catalog Disallow: /download Disallow: /export Disallow: /system Disallow: /index.php?route=account Disallow: /index.php?route=account/account Disallow: /index.php?route=checkout/cart Disallow: /index.php?route=checkout/shipping Disallow: /index.php?route=common/home Disallow: /index.php?route=product/product/captcha Disallow: /index.php?route=product/product*&manufacturer_id= Disallow: /index.php?route=product/search Disallow: /index.php?route=information/contact/captcha Disallow: /index.php?route=information/information&information_id= Disallow: /index.php?route=account/login Disallow: /*route=account/ Disallow: /*route=account/login Disallow: /*route=checkout/ Disallow: /*route=checkout/cart Disallow: /*route=affiliate/ Disallow: /*route=product/search Disallow: /*?sort= Disallow: /*?sort Disallow: /*&sort= Disallow: /*?order= Disallow: /*?order Disallow: /*&order= Disallow: /*?limit= Disallow: /*&limit= Disallow: /*?filter_name=

Вторая версия User-agent: *     Disallow: /admin     Disallow: /cache     Disallow: /niks     Disallow: /catalog     Disallow: /download     Disallow: /export     Disallow: /system     Disallow: /index.php?route=account     Disallow: /index.php?route=account/account     Disallow: /index.php?route=checkout/cart     Disallow: /index.php?route=checkout/shipping     Disallow: /index.php?route=common/home     Disallow: /index.php?route=product/product/captcha     Disallow: /index.php?route=product/product*&manufacturer_id=     Disallow: /index.php?route=product/search     Disallow: /index.php?route=information/contact/captcha     Disallow: /index.php?route=information/information&information_id=     Disallow: /index.php?route=account/login     Disallow: /*route=account/     Disallow: /*route=account/login     Disallow: /*route=checkout/     Disallow: /*route=checkout/cart     Disallow: /*route=affiliate/     Disallow: /*route=product/search     Disallow: /*?sort=     Disallow: /*?sort     Disallow: /*&sort=     Disallow: /*?order=     Disallow: /*?order     Disallow: /*&order=     Disallow: /*?limit=     Disallow: /*&limit=     Disallow: /*?filter_name=     Disallow: /*&filter_name=     Disallow: /*?filter_sub_category=     Disallow: /*&filter_sub_category=     Disallow: /*?filter_description=     Disallow: /*&filter_description=     Disallow: /*?tracking=     Disallow: /*&tracking=     Disallow: /*?manufacturer     Disallow: /*?keyword     Host: site.ru - меняем на свой домен

specialist-seo.ru


Prostoy-Site | Все права защищены © 2018 | Карта сайта