Генератор robots.txt NeoSeo - Модуль для Opencart. Robots txt для opencart
Какой правильный robots.txt для WordPress и OpenCart. Зачем нужен файл robots.txt
В статье про карту сайта для поисковиков (sitemap.xml) мы писали что существует еще такое понятие как robots.txt который нужен каждому сайту. В этой статье мы с вами обсудим зачем вообще нужен этот файл, для чего он, и как его правильно настроить для двух самых полулярных движков: WordPress — движок для блогов, и OpenCart — движок для магазинов.
Сразу оговорюсь, эта статья очень важна, ведь неправильно настроенный файл robots.txt может привести к тому что у вас сайт вообще не будет индексироваться, хоть у вас будет на 100% уникальный контент.
Зачем нужен robots.txt и что он делает?
Обычным пользователям понадобилось искать какую-то информацию со времени появления интернета. Но в то время сайт состоял из простых файлов .html, которые были между собой перелинкованные. Поисковикам было понятно что индексировать. Зашел в корень сайта, и индексируй все, ведь все файлы HTML это и есть контент для пользователей ресурса.
Но с того времени много воды утекло, HTML страницами уже никто не пользуется, а CMS все сложнее и сложнее. Более того сейчас весь контент, текст, храниться не в файлах, а в базах данных, а уже от туда достается по требованию php скриптами. Естественно, из-за этого файлы на сайте поделились на две части, первая — которую не надо индексировать потому что они относятся к файлам движка, а вторая которую наоборот надо индексировать.
Чтобы сэкономить время поисковику и дать понять какие файлы стоят его внимания а какие нет, существует файл robots.txt. Точнее у него есть две миссии:
- Показать какие файлы не надо индексировать
- Дать ссылку на карту сайта, а она покажет какие статьи надо индексировать.
Также это важно, потому что на каждый сайт поисковый робот уделяет какое-то время. По истечении этого времени он уходит, и вполне может не посмотреть что у вас еще есть страницы которые не попали в индекс. Для того чтобы все 100% времени он занимался тем чем надо вам требуется всего лишь правильно настроить robots.txt для OpenCart и WordPress
Какой правильный robots.txt для WordPress, OpenCart
Чтобы не разводить полемику, я решил сначала выложить правильные файлы для двух самых популярных CMS, а потом объяснить почему именно так. Также в следующем абзаце мы рассмотрим синтаксис этого файла.
Итак, для WordPress вам надо создать пустой документ в блокноте. Назвать его robots и сохранить в формате txt. Пользователи Mac OS могут воспользоваться любым другим удобным редактором. Лично я использую SubEthaEdit.
В этот файл вам надо скопировать текст который вы можете взять из моего файла Robots.txt. Само собой что вам надо будет в строчках:
Host: napositive.com.ua Sitemap: http://napositive.com.ua/sitemap.xml.gz Sitemap: http://napositive.com.ua/sitemap.xmlПоменять мой домен, на домен вашего блога.
После чего загрузите файл в корень сайта. Чтобы проверить что файл нормально работает перейдите по адресу http://napositive.com.ua/robots.txt Домен этого блога, который я подчеркнул, замените на свой.
Что касается OpenCart, то тут все сложнее. Поскольку в магазине кроме стандартных ссылок есть еще функции фильтрации товара, отображение товара и.т.д. Поэтому файл будет чуть длиннее и тяжелее. Хороший, а самое главное, не раз проверенный файл robots.txt вы можете посмотреть тут
Опять же, надо заменить в строках:
Host: Vash_domen Sitemap: http://Vash_domen/sitemap.xml Vash_domen на ваш домен.Синтаксиис robots.txt
Как вы видели в файлах выше, параметров в файле очень мало. Давайте разберем что они означают, чтобы лучше понимать. Возможно вам эта информация поможет, если захотите самостоятельно закрыть ту или иную страницу от индексации.
- На самом верху есть запись: User-agent: * Этот параметр показывает для какого поисковика правила. Самая верхняя запись означает что правила которые идут ниже для всех поисковиков. Чуть ниже есть запись User-agent: Yandex она означает что правила которые идут ниже предназначены только для Yandex. Почему я вывел в обоих CMS Yandex отдельной графой? Потому что как правило именно бот яндекса самый капризный, и для его нормальной работы лучше вынести правила специально для него.
- Disallow: Показывает что по этому пути ничего индексировать не надо. К примеру запись Disallow: /wp-admin Показывает что индексировать все что находиться по пути http://napositive.com.ua/wp-admin/ не надо.
- Парамерт Host: помогает дать понять поисковикам главный домен, ведь сайт может быть доступен по нескольким адресам. К примеру www.napositive.com.ua и napositive.com.ua
- Параметр Sitemap: показывает путь к карте сайта, ведь он может быть отличным от ваш_домен/sitemap.xml
Если у вас остались какие-то вопросы, напишите мне в комментариях, попробую вам помочь.
загрузка...
Об авторе
Andrey
Администратор блога. Специалист по маркетингу, развитию бизнеса, здоровому образу жизни. Владелец и директор двух компаний в Украине. Сертифицированный специалист Apple. Увлечения: бизнес, спорт, дайвинг.
napositive.com.ua
Правильные robots.txt для WordPress, Joomla, uCoz, OpenCart, Drupal, DLE
Продвижение сайтов самостоятельно | Внутренняя оптимизация сайта
В прошлой статье мы подробно рассмотрели, как правильно составить файл robots.txt. Из каких директив он состоит, как управлять роботами ПС и индексацией. В этой статье я хочу выложить готовые и проверенные файлы robots.txt для основных CMS.
Правильный robots.txt для WordPress
Самый популярный движок WordPress стоит на огромном количестве блогов. Поэтому начнем с него. Файл robots.txt для WordPress
User-agent: *Disallow: /cgi-binDisallow: /wp-adminDisallow: /wp-includesDisallow: /wp-content/pluginsDisallow: /wp-content/cacheDisallow: /wp-content/themesDisallow: /trackbackDisallow: */trackbackDisallow: */*/trackbackDisallow: */*/feed/*/Disallow: */feedDisallow: /*?*
User-agent: YandexDisallow: /cgi-binDisallow: /wp-adminDisallow: /wp-includesDisallow: /wp-content/pluginsDisallow: /wp-content/cacheDisallow: /wp-content/themesDisallow: /trackbackDisallow: */trackbackDisallow: */*/trackbackDisallow: */*/feed/*/Disallow: */feedDisallow: /*?*Host: seob.infoSitemap: /sitemap.xml
Он отличается от того robots.txt, что советую официальные разработчики WordPress. Но, на мой взгляд, это самый оптимальный вариант настройки.
Правильный robots.txt для Joomla
Следующая CMS по популярности - Джумла. Сделаем совсем небольшие изменения в официальной версии robots.txt. А именно пропишем host и sitemap и мы получим правильный файл robots.txt для Joomla
User-agent: *Disallow: /administrator/Disallow: /cache/Disallow: /includes/Disallow: /installation/Disallow: /language/Disallow: /libraries/Disallow: /media/Disallow: /modules/Disallow: /plugins/Disallow: /templates/Disallow: /tmp/Disallow: /xmlrpc/
User-agent: YandexDisallow: /administrator/Disallow: /cache/Disallow: /includes/Disallow: /installation/Disallow: /language/Disallow: /libraries/Disallow: /media/Disallow: /modules/Disallow: /plugins/Disallow: /templates/Disallow: /tmp/Disallow: /xmlrpc/Host: seob.infoSitemap: /sitemap.xml
Файл robots.txt для uCoz
На бесплатной платформе uCoz когда вы делаете сайт, там по умолчанию подгружается настроенный системой файл robots.txt. Но бывают случаи, когда надо его изменить. Например, дописать директивы закрытия каких-то страниц. Но многие не знаю где же найти robots.txt на uCoz. Прикол в том, что его на сайте нет, он подгружается из системы. Поэтому если вас не устраивает тот, что есть по умолчанию его надо создать. Создаем в блокноте файл с названием robots.txt, пишем в него дрективы и загружаем в корень сайта. Ниже приведен пример стандартного файла robots.txt для uCoz
User-agent: * Disallow: /a/ Disallow: /stat/ Disallow: /index/1 Disallow: /index/2 Disallow: /index/3 Disallow: /index/5 Disallow: /index/7 Disallow: /index/8 Disallow: /index/9 Disallow: /panel/ Disallow: /admin/ Disallow: /secure/ Disallow: /informer/ Disallow: /mchat Disallow: /search Disallow: /shop/order/ Disallow: /?ssid=
Sitemap: //forum.ucoz.ru/sitemap.xml Sitemap: //forum.ucoz.ru/sitemap-forum.xml Sitemap: //forum.ucoz.ru/sitemap-shop.xml
Robots.txt для OpenCart
Набирающий популярность движок для создания онлайн OpenCart я тоже не могу обойти стороной. Файл robots.txt для OpenCart имеет такую структуру:
User-agent: *Disallow: /*route=account/Disallow: /*route=affiliate/Disallow: /*route=checkout/Disallow: /*route=product/searchDisallow: /index.php?route=product/product*&manufacturer_id=Disallow: /adminDisallow: /catalogDisallow: /downloadDisallow: /exportDisallow: /systemDisallow: /*?sort=Disallow: /*&sort=Disallow: /*?order=Disallow: /*&order=Disallow: /*?limit=Disallow: /*&limit=Disallow: /*?filter_name=Disallow: /*&filter_name=Disallow: /*?filter_sub_category=Disallow: /*&filter_sub_category=Disallow: /*?filter_description=Disallow: /*&filter_description=Disallow: /*?tracking=Disallow: /*&tracking=Disallow: /*?page=Disallow: /*&page=Disallow: /wishlistDisallow: /loginDisallow: /index.php?route=product/manufacturerDisallow: /index.php?route=product/compareDisallow: /index.php?route=product/categoryHost: seob.infoSitemap: /sitemap.xml
Robots.txt для CMS Drupal
Для друпала правильный robots.txt будет таким:
User-agent: *Disallow: /database/Disallow: /includes/Disallow: /misc/Disallow: /modules/Disallow: /sites/Disallow: /themes/Disallow: /scripts/Disallow: /updates/Disallow: /profiles/Disallow: /xmlrpc.phpDisallow: /cron.phpDisallow: /update.phpDisallow: /install.phpDisallow: /index.phpDisallow: /admin/Disallow: /comment/reply/Disallow: /contact/Disallow: /logout/Disallow: /search/Disallow: /user/register/Disallow: /user/password/Disallow: /user/login/Disallow: /top-rated-Disallow: /messages/Disallow: /book/export/Disallow: /user2userpoints/Disallow: /myuserpoints/Disallow: /tagadelic/Disallow: /referral/Disallow: /aggregator/Disallow: /files/pin/Disallow: /your-votesDisallow: /comments/recentSitemap: //noindex.by/sitemap.xmlDisallow: /*/edit/Disallow: /*/delete/Disallow: /*/export/html/Disallow: /taxonomy/term/*/0$Disallow: /*/edit$Disallow: /*/outline$Disallow: /*/revisions$Disallow: /*/contact$Disallow: /*downloadpipeDisallow: /node$Disallow: /node/*/track$Disallow: /*&Disallow: /*%Disallow: /*?page=0Allow: /*?page=Disallow: /*?Host: seob.infoSitemap: /sitemap.xml
Файл robots.txt DLE
Часто возникают вопросы по настройке индексации Datalife Engine. Рекомендованный robots.txt для DLE примерно такой.
User-agent: *Disallow: /*printDisallow: /autobackup.phpDisallow: /admin.phpDisallow: /engine/go.phpDisallow: /user/Disallow: /newposts/Disallow: /favorites/Disallow: /statistics.htmlDisallow: /*subaction=userinfoDisallow: /*do=lastcommentsDisallow: /*do=feedbackDisallow: /*do=registerHost: seob.infoSitemap: /sitemap.xml
В следующей статье рассмотрим вопрос ошибки при оптимизации страниц
Оглавление
Генератор robots.txt NeoSeo - Модуль для Opencart
Название файла | Имя файла | Дата | Действие |
NeoSeo Генератор robots.txt для OC1.5 \ PHP5.3 | opencart_file_12708.zip | 2017-04-18 11:04:11 | Платный файл |
NeoSeo Генератор robots.txt для OC1.5 \ PHP7.0 | opencart_file_5836.zip | 2017-04-18 11:04:14 | Платный файл |
NeoSeo Генератор robots.txt для OC2.0 \ PHP5.3 | opencart_file_12053.zip | 2017-04-18 11:04:18 | Платный файл |
NeoSeo Генератор robots.txt для OC2.0 \ PHP7.0 | opencart_file_5628.zip | 2017-04-18 11:04:22 | Платный файл |
NeoSeo Генератор robots.txt для OC2.1 \ PHP5.3 | opencart_file_14080.zip | 2017-04-18 11:04:27 | Платный файл |
NeoSeo Генератор robots.txt для OC2.1 \ PHP7.0 | opencart_file_13854.zip | 2017-04-18 11:04:36 | Платный файл |
NeoSeo Генератор robots.txt для OC2.2 \ PHP5.3 | opencart_file_6212.zip | 2017-04-18 11:04:54 | Платный файл |
NeoSeo Генератор robots.txt для OC2.2 \ PHP7.0 | opencart_file_12496.zip | 2017-04-18 11:04:05 | Платный файл |
NeoSeo Генератор robots.txt для OC2.3 \ PHP5.3 | opencart_file_7789.zip | 2017-04-18 11:04:13 | Платный файл |
NeoSeo Генератор robots.txt для OC2.3 \ PHP7.0 | opencart_file_7004.zip | 2017-04-18 11:04:18 | Платный файл |
* Возможность скачивания появится после покупки
Первый, ну или второй шаг по продвижению сайта это создание файла robots.txt. Файл robots.txt является руководством по индексированию сайта для роботов и нужен для того, чтобы роботы понимали какие страницы можно сканировать, а какие - нельзя. Все это хорошо, скажете вы, но нужен ли модуль для формирования robots.txt, если есть куча готовых примеров. Да, нужен, и вот почему. Берем одну из строчек шаблона готового примера:
Код:
Disallow: /*route=account/
Это означает что робот не должен сканировать разделы сайта, относящиеся к личному кабинету. Все хорошо? Нет! Наверняка у вас стоит менеджер ЧПУ для технических разделов сайта и тогда авторизация в личном кабинете выглядит вот так:
А это означает что вышеописанное правило уже не подходит для этой ссылки. Что же делать? Вам нужно выяснить какие ссылки соответствуют каждому техническому разделу сайта и вписать их вместо общих, но уже бесполезных конструкций. Соответственно вместо этого:
Код:
Disallow: /*route=account/
У вас должно быть, скоре всего, вот так:
Код:
Disallow:/account Disallow:/register Disallow:/login Disallow:/logout Disallow:/lost-password Disallow:/edit-account Disallow:/addresses Disallow:/vouchers Disallow:/reward-points Disallow:/wishlist Disallow:/newsletter Disallow:/orders Disallow:/transactions Disallow:/returns Disallow:/request-return Disallow:/downloads
Вы не хотите ручками проверять каждую из 30-ти технических ссылок и вписывать их в файл по 2 раза? Покупайте наш модуль и избавьте себя от головной боли!
Пробуйте бесплатно
- напишите на почту: [email protected], и мы выдадим вам тестовую лицензию на 14 дней, чтобы вы все прощупали своими руками.
ВСЕ ОБНОВЛЕНИЯ, КОТОРЫЕ МЫ ВЫПУСТИМ ДЛЯ ЭТОЙ ВЕРСИИ МОДУЛЯ БУДУТ ДОСТУПНЫ БЕСПЛАТНО И ПОЖИЗНЕННО.
Лицензионные условия.
- Обращаем внимание на то, что вы покупаете модуль "как есть". Если у Вас возникнет необходимость улучшить функционал купленного модуля под ваши индивидуальные потребности - напишите на почту [email protected], чтобы мы предоставили ориентировочную оценку доработки согласно вашим требованиям.
- Каждый покупатель модулей от нашей веб-студии имеет возможность получать новый функционал (все обновления версий) на протяжении всего периода "жизни" программного обеспечения для определенной версии OpenCart БЕСПЛАТНО.
- Даже если мы изменим сборку модуля, по запросу, Покупатель всегда получит свою лицензию безоговорочно.
- Обратим ваше внимание, что мы вправе изменять условия использования лицензии без согласования с конечным пользователем.
- Наши модули не ломают сайты это делают люди. Мы не несем никакой ответственности за то, что делает Покупатель модуля (разработчик или непосредственно собственник сайта), как он это делает и где. Это личные вопросы Покупателя. Мы не несем какой-либо ответственности за материальный и нематериальный ущерб, причиненный модулем, Вы используете модуль на свой страх и риск.
- Мы разрабатываем и продаем модули с 2012 г, поверьте, это внушительный срок, наши модули работают и подтверждение тому сотни благодарных отзывов.
Пожалуйста, если у вас что-нибудь не получается, не нужно сразу раскидываться "комплиментами" направо и налево, постарайтесь разобраться в вопросе, а если вам не хватает времени или квалификации - обращайтесь за платной технической поддержкой, мы всегда рады помочь самым оперативным образом.
-
Покупайте модуль с уверенностью в том, что с его помощью ваш бизнес будет работать, а в случае необходимости, мы всегда сможем доработать его под ваши индивидуальные потребности, но опять же, на платной основе.
-
Лицензия выдается на ОДИН домен. Не на сайт, не на человека, не на студию. У вас несколько доменов подключены к одному сайту - значит вам нужно несколько лицензий.
Пожалуйста, внимательно читайте то, что написано на странице каждого модуля в инструкции по установке и обновлениям:
1. Запросите ключ лицензии и файлы модуля по email [email protected], при этом укажите:
- название сайта, на котором вы купили модуль. Например, opencartforum.com
- ваше имя на этом сайте (ник-нейм),
- номер заказа на этом сайте, например, 355446
- основной домен сайта для активации лицензии, например, https://neoseo.com.ua
- версию OpenCart
- версию php
2. Распакуйте и загрузите ключ в корень сайта, рядом с robots.txt
3. Распакуйте архив с модулем и загрузите содержимое папки upload на сайт
4. Установите модуль посредством меню Дополнения / Модули
5. Установите права на просмотр модуля нужным пользователям
6. Зайдите в настройки модуля, укажите нужные параметры и сохраните настройки.
ВАЖНО! Если вы видите сообщение о том, что файл лицензии не найден, не переходите к этапу #7.
В таком случае ознакомьтесь со статьей https://support.neoseo.com.ua/knowledge_base/item/106789?sid=23542
или напишите нам на [email protected], мы поможем выявить причину не активации лицензии. Если вы убедились в том, что модуль видит лицензию, вы можете переходить к следующему пункту.
7. Обновите модификаторы (Дополнения / Модификаторы
Общий порядок обновления модулей:
1. Распакуйте архив с модулем и загрузите содержимое папки upload на сайт
2. Зайдите в настройки модуля и выполните сохранение настроек.
ВАЖНО! Если Вы видите сообщение о том, что файл лицензии не найден не переходите к этапу #3. В таком случае ознакомьтесь со статьей https://support.neoseo.com.ua/knowledge_base/item/106789?sid=23542
или напишите нам на [email protected], мы поможем выявить причину не активации лицензии. Если вы убедились в том, что модуль видит лицензию, вы можете переходить к следующему пункту.
3. Обновите модификаторы (Дополнения / Модификаторы)
Советы:
1. Для корректной работы основной версии магазина, создавайте тестовое окружение, где вы сможете тестировать работу любого функционала. Поверьте, даже самое самое, оттестированное 100 раз ПО, именно на вашем сайте может "заглючить" и привести сайт в нерабочее состояние. Создать тестовое окружение не сложно, а выгода очевидна. В случае, если перестанет работать тестовое окружение, вы ничего не потеряете, а вот когда ошибки вредят прямым продажам на рабочем сайте, вы теряете доходы и прибыль.
2. Если вы не сильны в установке модулей, лучше доверить эту задачу профессионалам, мы с удовольствием поможем вам за скромную оплату труда.
ВНИМАНИЕ: 1. Нельзя скачивать обновления и устанавливать их на рабочий сайт не имея ключа лицензии.
Пробуйте бесплатно!
Напишите на почту: [email protected] и мы выдадим вам тестовую лицензию на 14 дней!
Важно. Условия бесплатной и платной
информационной и технической поддержки.
Поскольку мы уверены в том, что любая Качественная работа должна оплачиваться, все консультации, требующие предварительной подготовки ответа у нас платные, в т.ч. и разборы по ситуациям а-ля: «посмотрите, а почему тут ВАШ модуль не работает?, "я установил модуль, а почему тут посыпались ошибки? ВАШ модуль поломал мне сайт, срочно всё исправьте! и т.д."
Очень важный момент! - если ответ на Ваш вопрос уже у нас готов, Вы его получите бесплатно, но если для того, чтобы ответить нужно потратить время на то, чтобы разобраться в вопросе, изучить файлы, найти ошибку и подумать, прежде, чем что-то ответить, попросим оплатить.
После того, как мы ввели беспрецедентно выгодную для Клиентов систему с поминутной тарификацией оплаты труда наших специалистов, мы вынуждены были сделать все консультации, где требуется глубокое погружение программистов платными, поскольку:
а) на качественные ответы тратится очень много времени, того времени, которое наши программисты могли бы потратить на непосредственное выполнение уже оплаченных и ожидающих в очереди задач.
б) мы не закладываем в стоимость работ время на ответы, консультации и т.д. Кому-то они нужны, а кому-то нет. У нас все платят поминутно и ровно за то время, которое потрачено на их благо.
Цитата
И не стоит опасаться платной консультации, ведь 15 мин. помощи эксперта могут сэкономить много денег, а стоит это, всего навсего 5$!
Если у Вас есть вопросы, пожалуйста, напишите в ЛС или на [email protected] или позвоните нам:
Россия, все звонки бесплатно 8 800 551 94 15 |
Украина: +380 67 67 07 647 +380 63 71 70 763 +380 50 34 58 565 |
МЫ РАБОТАЕМ: Понедельник-пятница с 9-00 до 19-00 по Киевскому времени GMT+2 |
Суббота и Воскресенье - выходные дни! |
Более детальную информацию о том, как мы работаем, Вы можете прочитать на нашем сайте.
Преимущества модулей от NeoSeo:
1-ое преимущество
- только практика, только проверенные и продуманные решения для рынка СНГ. Каждый наш продукт, будь-то Интернет-магазин в целом или
shop.opencart-russia.ru
robots.txt для opencart | SPECIALIST SEO
User-agent: * Disallow: /admin Disallow: /cache Disallow: /niks Disallow: /catalog Disallow: /download Disallow: /export Disallow: /system Disallow: /index.php?route=account Disallow: /index.php?route=account/account Disallow: /index.php?route=checkout/cart Disallow: /index.php?route=checkout/shipping Disallow: /index.php?route=common/home Disallow: /index.php?route=product/product/captcha Disallow: /index.php?route=product/product*&manufacturer_id= Disallow: /index.php?route=product/search Disallow: /index.php?route=information/contact/captcha Disallow: /index.php?route=information/information&information_id= Disallow: /index.php?route=account/login Disallow: /*route=account/ Disallow: /*route=account/login Disallow: /*route=checkout/ Disallow: /*route=checkout/cart Disallow: /*route=affiliate/ Disallow: /*route=product/search Disallow: /*?sort= Disallow: /*?sort Disallow: /*&sort= Disallow: /*?order= Disallow: /*?order Disallow: /*&order= Disallow: /*?limit= Disallow: /*&limit= Disallow: /*?filter_name=
Вторая версия User-agent: * Disallow: /admin Disallow: /cache Disallow: /niks Disallow: /catalog Disallow: /download Disallow: /export Disallow: /system Disallow: /index.php?route=account Disallow: /index.php?route=account/account Disallow: /index.php?route=checkout/cart Disallow: /index.php?route=checkout/shipping Disallow: /index.php?route=common/home Disallow: /index.php?route=product/product/captcha Disallow: /index.php?route=product/product*&manufacturer_id= Disallow: /index.php?route=product/search Disallow: /index.php?route=information/contact/captcha Disallow: /index.php?route=information/information&information_id= Disallow: /index.php?route=account/login Disallow: /*route=account/ Disallow: /*route=account/login Disallow: /*route=checkout/ Disallow: /*route=checkout/cart Disallow: /*route=affiliate/ Disallow: /*route=product/search Disallow: /*?sort= Disallow: /*?sort Disallow: /*&sort= Disallow: /*?order= Disallow: /*?order Disallow: /*&order= Disallow: /*?limit= Disallow: /*&limit= Disallow: /*?filter_name= Disallow: /*&filter_name= Disallow: /*?filter_sub_category= Disallow: /*&filter_sub_category= Disallow: /*?filter_description= Disallow: /*&filter_description= Disallow: /*?tracking= Disallow: /*&tracking= Disallow: /*?manufacturer Disallow: /*?keyword Host: site.ru - меняем на свой домен
specialist-seo.ru