Как скрыть ссылки от индексации в WordPress и OpenCart. Opencart закрыть сайт от индексации

Закрываем сайт от индексации с помощью файла robots.txt.

Для начала вам нужно создать файл robots.txt. Для этого создаете на своем компьютере обычный текстовый документ с названием robots и расширением .txt. Вот я только что создал его:текстовый документТеперь этот файл нужно загрузить в корневую папку своего блога. Если ресурс сделан на движке вордпрес, то корневая папка находится там, где папки wp-content, wp-includes и т. д.Итак, мы загрузили пустой файл на хостинг, теперь нужно с помощью этого файла как-то закрыть блог от индексации. Это можно сделать, как я уже написал только для Яндекса, Гугла или сразу всех поисковиков.

Как закрыть сайт от индексации только для Яндекса?Пропишите в файле robots.txt вот такую строчку:1. User-agent: Yandex2. Disallow: /Для того чтобы убедиться в том, что вы запретили индексировать свой ресурс Яндексу, добавьте сначала сайт в Яндекс Вебмастер, если вы этого еще не сделали, а потом перейдите на эту страницу. Дальше введите несколько страниц своего сайта и нажмите на кнопку «Проверить». Если страницы запрещены к индексации, то вы увидите примерно такую картину:Закрываем сайт от индексацииКак закрыть сайт от индексации только для Google?Откройте файл robots.txt и пропишите там вот такую строчку:1. User-agent: Googlebot2. Disallow: /Для того чтобы проверить, что Гугл не индексирует сайт, создайте аккаунт, добавьте свой ресурс в Google Webmaster и перейдите вот сюда. Здесь также нужно ввести несколько страниц и нажать на кнопку «проверить».Если страница разрешена к индексированию, то будет писать «Разрешено», в таком случае вы сделали что-то не так. Если документ запрещен к индексации, то будет писать «Заблокировано по строке», и Гугл укажет строку, с помощью которой страница запрещена к индексации. Вы также можете прочитать статью о том, как проверить индексацию сайта.файл robots.txtЯ заметил, что поисковая система Google индексирует даже те документы, которые запрещены в файле robots.txt и заносит их в дополнительный индекс, так называемые «сопли». Почему, не знаю, но вы должны понимать, что запретить сайт или отдельную страницу с помощью файла robots.txt на 100 % нельзя. Этот файл, как я понял, только рекомендация для Гугла, а он уже сам решает, что ему индексировать, а что нет.Как закрыть сайт от индексации для всех поисковых систем?Чтобы запретить сразу всем поисковикам индексировать ваш ресурс, пропишите в robots.txt вот такую строчку:1. User-agent: *2. Disallow: /Теперь вы также можете перейти в Яндекс или Гугл Вебмастер и проверить запрет индексации.Свой файл robots.txt вы можете увидеть по такому адресу: Вашдомен.ru/robots.txt

Все что вы прописали в этом файле должно отображаться в браузере. Если при переходе по этому адресу перед вами выскакивает ошибка 404, значит, вы не туда загрузили свой файл.

статью скопировал с данного сайта

famedsoft.ru

Как скрыть ссылки от индексации в WordPress и OpenCart

В статье зачем скрывать ссылки от индексации, мы рассмотрели вопрос почему не стоит ставить ссылки с вашего сайта на посторонний ресурс. Также мы рассмотрели ситуации, когда ссылку поставить необходимо, поэтому, чтобы наш PR и ТИЦ через нее не утекал, мы будем ее скрывать от индексации.

Итак, догорогие читатели блога Napositive, я вам дам оружие в руки с помощью которго вы сможете скрывать от поисковиков ссылки с вашего блога на другие ресурсы. Существует не много способов, как это сделать. Я вам предложу всего два проверенных способа. Первый — как говорят скрывать ссылки поисковики. Рассмотрим чем этот способ хорошо, а чем плох. Второй способ — как нужно скрывать ссылки. Ведь и ежу понятно, что поисковики в первую очередь заботятся о пользователях которые ищут информацию, а не о вебмастерах, поэтому временами, они забивают на теги «не искать».

Способ первый. Теги <Noindex> и <Nofollow>

Чтобы дать вебмастерам способ показать что ту или иную ссылку не надо индексировать, существует два тега которыми вебмастер указывает, что эти ссылки не должны учитываться. Тегом Noindex можно закрыть ссылку от Яндекса, а nofollow от гугл и других поисковых машин. Давайте на примере рассмотрим как работают эти ссылки.

Тег Noindex.

Для примера берем вот эту ссылку. Она ведет на главную страницу. Чтобы закрыть ее от Яндекса, нам надо переключиться в режим HTML. Для этого перейдите во вкладку «текст», как показано на картинке ниже. WordPress редактирование HTML

После чего найдите участок кода, который отвечает за ссылку. Для этого, проще всего воспользоваться поиском встроенным в браузер. Искать лучше всего по анкору. Для тех кто не знает, что такое анкор, рекомендую прочитать статью зачем скрывать ссылки от индексации

За ссылку + анкор + заголовок отвечает код начиная от открывающегося тега

заканчивая закрывающимся тегом

За ссылку которая в примере отвечает код

<a title="napositive сайт для вебмастера" href=" http://napositive.com.ua/" target="_blank">ссылку</a>

Чтобы дать понять яндексу что по ней не надо переходить и не вообще не учитывать нам надо заключить весь код страницы в тег <Noindex>. т.е. URL который не должен попадать в индекс яндекса выглядит так:

<noindex><a title="napositive сайт для вебмастера" href=" http://napositive.com.ua/" target="_blank">ссылку</a></noindex>

Если простым языком и не вдаваться в поробности нам надо поставить <noindex> перед символом <a и </noindex> после символа </a>

Тег nofollow.

Чтобы закрыть от индексации ссылку для Google и других поисковых машин, мы можем воспользоваться тегом nofollow. Для этого, как и в случае с тегом <Noindex> нам надо переключиться на режим отображения HTML.

WordPress редактирование HTML

Найти свою ссылку по анкору, используя встроенный поиск в браузер. Далее перед самим анкором скопировать код:

т.е. ссылка которую мы мучаем ради примера будет выглядеть так:

<a title="napositive сайт для вебмастера" href=" http://napositive.com.ua/" target="_blank" <strong>rel="nofollow"</strong>>ссылку</a>

Одновременно используем nofollow и Noindex

Поскольку читатели этого блога скорее всего ведут ресурсы как для пользователей яндекса так и для google, то нам надо закрыть ссылку от всех поисковиков. Для этого будем использовать одновременно два тега. Чтобы долго не объяснять, просто приведу пример такой ссылки:

<strong><noindex></strong><a title="napositive сайт для вебмастера" href=" http://napositive.com.ua/" target="_blank" <strong>rel="nofollow"</strong>>ссылку</a><strong></noindex></strong>

Как видите ничего сложно в этом нет. Достаточно:

Найти ссылку используя поиск браузера
поставить открывающийся и закрывающийся тег для яндекса в начале и конце ссылки

Поставить тег для google перед анкором

Недостатки использования nofollow и noindex

Как я уже чуть рассказал выше, поисковые машины, под каким бы брендом они не были, в первую очередь воюют за чистоту выдачи. т.е. они всеми правдами и не правдами пытаются понять, действительно ли данный материал полезен. Поэтому есть две позиции. Первая официальная, вторая нет.

По официальной информации яндекс реагирует на свой тег правильно. Не учитывает ссылку. А вот гугл не индексирует содержимое страницы по ссылке (не переходит по ней) но PR по ней утекает. т.е. если у вас 6 ссылок, из них 5 внутри сайта, а одна на внешний сайт, то 1/6 веса станицы перейдет на внешний ресурс, что для нас, конечно же, недопустимо.

По неофициальной информации — поисковики не учитывают теги, поскольку если ссылка есть, значит она есть. Ведь как я уже говорил не один раз, в первую очередь ботам важна чистота поисковой выдачи. А то что вебмастер постарался чтобы URL не учитывался это его проблемы, ведь ссылка то есть.

Как закрыть ссылки от индексации железно

Но как всегд,а есть способ как железно закрыть такие ссылки. Это способ использует Java скрипты, но на уверяю, что это очень легкий способ. Итак:

Для начала нам надо сделать так чтобы наш движок загружал JavaScript. Точнее не сам JavaScript, а одну из его библиотек. Для этого:

C помощью FTP клиента перейдите по маршруту:

/wp-content/themes/название_темы/

Найдите там файл header.php сделайте его резервную копию, и перенесите к себе на жесткий диск.
Откройте файл header.php и перед закрывающимся кодом

(Лучше всего этот участок кода найти поиском встроенным в браузер) вставьте код:

Этот код заберет у google самую последнюю версию необходимой нам библиотеки и подгрузит к нам на сайт.

Необходимую библиотеку мы подгрузили. Теперь нам надо сделать собственно скрипт который будет обрабатывать запросы. Для этого:

Все по тому же маршруту ищем файл Footer.php. и копируем его к себе на компьютер.

Ищем в самом конце код:

и перед ним вставляем такие строки

Сохраняем файл и загружаем назад на сайт.

Все. Все необходимые компоненты мы подгрузили. Осталось только научиться скрывать ссылку. Для этого мы будем издеваться все над той же ссылкой которая ведет на главную страну.

Переключаемся на HTML редактирование.

WordPress редактирование HTML

Находим код ссылки по анкору. Пока мы делаем все как и в официальных методах.

<a title="napositive сайт для вебмастера" href=" http://napositive.com.ua/" target="_blank">ссылку</a>

Нам из этой ссылки надо два параметра. Первый это URL — копируем его. Второй это анкор. Тоже его копируем. Все остальное удаляем. Выходит два скопированных обьекта:

http://napositive.com.ua/

Эти обьекты нам надо засунуть в код в соответствующие места

<span data-link="<span>URL на внешний сайт (первый скопированный объект)</span>"><span>анкор ссылки</span></span>

Итого вышло

<span data-link="http://napositive.com.ua/">ссылку</span>

Обязательно URL ссылки указывать через http://

После того как вы сделали первую ссылку, важно сохранить статью и посмотреть как она выглядит. У вас должно быть два разных вида ссылки. Первый в админке второй для пользователей сайта. В админке ссылка будет выглядеть как обычный текст. Это нормально. Для примера вы можете посмотреть как выглядела такая ссылка у меня в админке в статье правильный Robots.txt для WordPress и OpenCart :

скрытая ссылка в админке Да, в админке нормально когда ссылка отображается как текст, но не нормально когда такое происходит для пользователя. т.е. если после сохранения и публикации статьи, как пользователь, а не администратор, вы видите просто текст, а не голубые ссылки как должны то нам приидется править css файл вашей темы. Для этого:

Зайдите с помощью FTP клиента на ваш сайт и перейдите по маршруту ваш_сайт/wp-content/themes/
Найдите там файл style.css
В самый конец скопируйте в него код:

span.external-reference { color: #5151FF; /* выбираем цвет ссылки */ text-decoration: underline; /* устанавливаем подчеркивание */ cursor: pointer; /* создаем курсор при наведении*/ }

После того как вы сохраните изменения скрытые ссылки пользователь не сможет отличить от не скрытых, но вот поисковым роботам URL который вы поставили на другие ресурсы будет недоступен.

Как всегда если у вас остались вопросы — напишите в комментариях, попробую вам помочь.

загрузка...

napositive.com.ua

Как закрыть сайт от индексации?

Приветствую вас, посетители сайта Impuls-Web!

Когда вы только приступили к созданию сайта и не хотите, что бы поисковые системы индексировали его до завершения работ, вы может закрыть сайт от индексации в поисковых системах.

Навигация по статье:

Так же такая необходимость может возникнуть для тестового сайта, или для сайта, который предназначен для закрытого пользования определенной группой лиц, и вам не нужно, чтобы внутренние ссылки попали в выдачу поисковиков.

Я хочу вам сегодня показать несколько достаточно простых способов, как можно закрыть сайт от индексации.

Как закрыть сайт от индексации в WordPress?

Данный способ, наверное, самый простой, и владельцам сайтов, которые созданы на базе CMS WordPress, очень повезло. Дело в том, что в данной CMS предусмотрена возможность закрытия сайта от индексации при установке движка на хостинг. В случае если вы не сделали этого при установке, вы всегда можете это сделать в настройках. Для этого вам нужно:

1.В админпанели переходим в раздел «Настройки» → «Чтение».
2.Перелистываем открывшуюся страницу в самый низ, и отмечаем галочкой опцию показанную на скриншоте:
3.Сохраняем изменения.

Все. Теперь ваш сайт не будет индексироваться. Если открыть страницу в браузере и нажать комбинацию клавиш CTRL+U, мы сможем просмотреть код страницы, и увидим вот такую строку кода:

Данная запись была добавлена автоматически, после того как мы включили опцию запрета индексации в настройках.

Главное не забыть отключить эту опцию после завершения работ:)

Как закрыть сайт от индексации name=»robots»?

Данный способ заключается в самостоятельном добавлении записи, показанной на предыдущем скриншоте. Данный вариант подойдет для тех сайтов, которые создаются без использования CMS.

Вам всего лишь нужно в начале каждой страницы, перед закрытием тега </head> добавить эту запись:

В поле content можно задать следующие условия:

Запрещающие условия:

none – запрет для страниц и ссылок;
noindex – запрет для страниц;
nofollow – запрещает индексацию ссылок на странице;

Разрещающие условия:

all – разрешает индексацию страниц и ссылок;
index — разрешает индексацию страниц;
follow – разрешает индексацию ссылок на странице;

Зная данный набор условий, мы можем составить альтернативную запись для полного запрета для сайта и ссылок на нем. Выглядеть она будет вот так:

Как закрыть сайт от индексации в robots.txt?

Показанные выше варианты закрытия сайта от индексации работают для всех поисковиков, а это бывает не всегда нужно. Так же, предыдущий способ достаточно неудобен в случае, если ваш ресурс состоит из большого количества страниц, и каждую из них нужно закрыть от индексации.

В этом случае лучше воспользоваться еще одним способом закрытия сайта от индексации. Данный вариант дает нам возможность более гибко закрывать от индексации не только сайт в целом, но и отдельные страницы, медиафайлы и папки.

Для полного закрытия от индексации вам нужно создать в редакторе кода NotePad++ файл с названием robots.txt и разместить в нем такую запись:

User-agent: * Disallow: /

User-agent со значением * означает, что данное правило предназначено для всех поисковых роботов. Так же вы можете запретить индексацию для какой-то поисковой системы в отдельности. Для этого в User-agent указываем имя конкретного поискового робота. Например:

В этом случае запись будет работать только для Яндекса.

Обратите внимание. В строке User-agent может быть указан только один поисковый робот, и соответственно директивы Disallow, указанные ниже будут работать только для него. Если вам нужно запретить от индексацию в нескольких ПС, то вам нужно это сделать по отдельность для каждой. Например:

User-agent: Googlebot Disallow: / User-agent: Yandex Disallow: /

User-agent: Googlebot

Disallow: /

User-agent: Yandex

Disallow: /

Так же, директива Disallow позволяет закрывать отдельные элементы. Данная директива указывается отдельно для каждого закрываемого элемента. Например:

User-agent: Yandex Disallow: *.jpg Disallow: /about-us.php

User-agent: Yandex

Disallow: *.jpg

Disallow: /about-us.php

Здесь для поискового робота Yandex закрыты для индексации все изображение с расширением .jpg и страница /about-us.php.

Каждый из показанных приемов удобен по своему в зависимости от сложившейся ситуации. Надеюсь у меня получилось достаточно подробно рассказать вам о способах закрытия сайта от индексации, и данный вопрос у вас не вызовет трудностей в будущем.

Если данная информация была для вас полезно, обязательно оставьте свой комментарий под статьей и поделитесь ею в социальных сетях.

Желаю вам успехов в создании сайтов. До встречи в следующих статьях!

С уважением Юлия Гусарь

impuls-web.ru

Зачем закрывать ссылки от индексации, как сделать ссылку в WordPress и OpenCart

Каждый начинающий вебмастер знает что давать ссылки со своего ресурса на другой ресурс плохо, а давать ссылки внутри сайта, наоборот хорошо. В этой статье мы рассмотрим почему внешние ссылки с вашего сайта это плохо, и конечно же расскажем как «железно» закрыть ссылку от поисковиков, чтобы они даже не догадывались про ее существование. А вот в статье как закрыть ссылки от индексации в WordPress и OpenCart мы рассмотрели разные способы запретить ботам индексировать ссылки.

Почему ссылки с сайта на другие ресурсы это плохо.

Давайте рассмотрим с точки зрения логики, а потом разберем механику. Поскольку поисковые машины не могут понять, насколько ваша статья полезна пользователям, то они ориентируются на кучу факторов и один из них — это ссылки с вашей статьи на другие сайты. Что это означает для поисковика? А то что вы не полностью раскрыли материал и ссылаетесь на другой ресурс, чтобы пользователь почитал недостающую информацию на другом сайте. Естественно статья которая полностью не раскрывает тему хуже чем та что раскрывает полностью, поэтому : если в интернете есть статья на эту тему но без ссылок, то она будет для Google и Яндекс иметь больший вес чем ваша, по крайней мере с точки зрения ссылок. А даже один параметр бывает решающим, когда вы боритесь за места в выдаче.

С другой стороны, ссылки которые идут из одной статьи на другую внутри вашего сайта — это наоборот хорошо потому, что поисковики понимают, что пользователь получит максимум информации на вашем ресурсе. Ваш ресурс посвящен одной тематике, значит этой информации можно более-менее доверять. Поэтому если вы можете ставить внутреннюю ссылку, к примеру на теги, или на другую статью — обязательно поставьте.

Что же делать? Конечно же самый лучший способ, когда вам надо поставить ссылку на какую-то статью, это написать статью на своем ресурсе и поставить ссылку с одной статьи на другую. Конечно же, вам надо не в тупую скопировать, а написать тот же материал своими словами, со своими умозаключениями, опытом, выводами и.т.д. Таким образом вы убьете трех зайцев одним выстрелом — дадите пользователю максимум информации и не дадите ссылки на чужой ресурс.

Но иногда нам действительно надо поставить ссылку на другой ресурс. К примеру:

Когда ссылка не на статью, а на сам ресурс. К примеру на человека в социальной сети, на онлайн игру или официальный сайт производителя
Когда вы даете дублированный материал. К примеру как это сделал я в статье про robots.txt. В ней присутствуют две ссылки в которых размещен код файла robots.txt. Этот контент не уникален, но в то же время его нельзя переделать, ведь это код и скрыть его от посетителя сайта — тоже нельзя. Но можно разместить два файла у себя на хостинге и дать в статье ссылки на них. После того как мы закроем от индексации ссылки, все останутся довольны — посетители получат информацию за которой пришли, а поисковики не обнаружат не уникального контента.

Pr i TITs

Кроме того, как вы, наверное, знаете у каждого сайта есть свой ТИЦ и PR. Это как показатель качества сайта, как его оценка. У Google это оценка от 1 до 10, у яндекса это от 0 до 270000. Именно такой ТИЦ у самого яндекса. Когда вы размещает ссылку на чужой ресурс то ваша оценка утекает по этой ссылке. Грубо говоря если с вашей статьи идет 4 ссылки. Три из них внутренние, а одна внешняя, то 1/4 часть оценки этой страницы уйдет на чужой ресурс, а остальные 2/3 распределяться по вашему сайту.

Если у вас высокий PR и ТИЦ, старый домен, много уникальных статей и кучи посетителей, то вам конечно можно размещать ссылки (в разумных пределах), но если у вас новый блог, посетителей 2 шт в месяц (и то это вы заходите с телефона и компьютера), вам точно повредит даже одна ссылка. Поэтому следующая часть будет полностью посвящена тому как скрыть ссылки от индексации.

Как поставить ссылку в WordPress и OpenCart

Прежде чем рассказать вам как размещать ссылку, я вкратце расскажу базовые понятия про ссылки, чтобы мы общались на одном языке. Я не буду пока говорить про тонкие детали, ведь это сейчас не очень важно.

Итак, в ссылке есть:

Анкор. Анкор это текст к которому прикреплена ссылка. К примеру в ссылке гарнитура с функцией записи звонка анкором является фраза «гарнитура с функцией записи звонка». А в ссылке главная страница анкор естественно «главная страница». А вот ссылка в виде http://napositive.com.ua не имеет анкора.
URL адрес. Это собственно адрес статьи или ресурса, на которую мы ссылаемся.
Заголовок ссылки. Это текст, где мы своим языком описываем что находиться по ссылке.

Для примера давайте разберем одну ссылку в этой статье. Итак, для начала, в тексте мышкой выделяем текст, который будет у нас анкором и нажимаем на кнопку «Вставить изменить ссылку», как показано на картинке ниже

Добавляем ссылку в WordPress

После чего вам предложат ввести два недостающих поля. Это адрес и заголовок. Напомню в заголовке вы пишите описание того что по ссылке.

Добавляем ссылку в WordPress

Также рекомендую ставить галочку «Открывать в новом окне» потому что пользователь скорее всего хочет остаться на вашем ресурсе и дочитать информацию. Конечно это все субъективно, и зависит от целей который вы хотите достичь.

Все! Теперь нам осталось только нажать на кнопку «обновить» чтобы закончить работу с ссылкой.

Как изменить ссылку в WordPress и OpenCart

Как я уже писал в статье как включить проверку орфографии в OpenCart я довольно часто ошибаюсь, поэтому приходиться редактировать ссылки. Поэтому маленький короткий раздел мы уделим теме, как редактировать ссылки.

Как удалить ссылку

Чтобы удалить ссылку, достаточно поместить на нее курсор редактирования текста (в любое место ссылки) и нажать на кнопку «убрать ссылку» как показано на картинке ниже. Таким образом анкор останется, а ссылка удалиться.

Удаление ссылки в WordPress

Изменить адрес или заголовок

Изменить адрес или заголовок вы можете с помощью соседней кнопки. Для этого, как и в случае с удалением ссылки, переведите курсор на любой участок анкора и нажмите «Вставить изменить ссылку»

Редактирование ссылки в Opencart

В окне которое откроется вы сможете изменить как адрес, так и описание ссылки.

Изменеие анкора

Но чаще всего, мне приходиться менять сам анкор ссылки, когда я допускаю в них ошибку. К примеру, не захватил первую букву. В этом случае можно воспользоваться двумя хинтами. Первый — изменить с помощью встроенного движка, или с помощью HTML кода. В этом подзаголве мы рассмотрим первый способ, а уже в другой статье мы рассмотрим, естественно второй способ. Разбивка на разные части необходима потому, что тема «редактирования ссылок через HTML» относительно длинная и не всем нужна тема, но прочитав ее вы узнаете много нового, к примеру как менять цвет ссылок, прикреплять якоря, и много другой полезной информации, ведь не забывайте, что ссылки это одно из важнейших оружий СЕО продвижения.

Итак, возвращаясь к нашей ошибке. На картинке ниже видим что сама ссылка не захватила одной первой буквы. Можно конечно сначала удалить ссылку, а потом снова ее сделать, но это слишком долго, ведь вполне вероятно, что вы заметите ее позже, когда будете перечитывать статью, у вас уже в копипасте будет совершенно другая информация, которая не относиться к ошибке и вам прийдеться снова искать URL, придумывать заголовок и.т.д. Чтобы этого не делать нам надо понять что редактор WordPress и OpenCart позволяет редактировать то что внутри ссылки. Давайте попробую объяснить подробнее на примере все той же ошибки. Итак, что бы исправить самым быстрым способом ситуацию, как на картинке внизу

ошибка в ссылке WordPress

нам надо:

Перед буквой а, допечатать «ка». См картинку ниже
Удалить ненужные буквы из анкора и лишню букву К перед акнокром См картинку ниже

Все, ошибка исправлена.

Выводы

В этой части, мы рассмотрели зачем закрывать ссылки от индексирования, затронули тему влияния внутренних и внешних ссылок на продвижение сайта, а также как ставить, удалять и редактировать ссылки. Временами было скучно, но поверьте, эта информация очень нам поможет в будущем при СЕО продвижении нашего сайта. А вот в следующей статье, мы расскажем несколько способов как собственно закрывать от индексации ссылки. Также напомню, не лишним будет прочитать статью «Редактирование ссылок с помощью HTML»

загрузка...

napositive.com.ua

Руководство по использованию robots.txt — Robots.Txt по-русски

Цель этого руководства – помочь веб-мастерам и администраторам в использовании robots.txt.

Зто не спецификация – подробное описание и синтаксис можно посмотреть в стандарте исключений для роботов.

Введение

Стандарт исключений для роботов по сути своей очень прост. Вкратце, это работает следующим образом:

Когда робот, соблюдающий стандарт заходит на сайт, он прежде всего запрашивает файл с названием «/robots.txt». Если такой файл найден, Робот ищет в нем инструкции, запрещающие индексировать некоторые части сайта.

Где размещать файл robots.txt

Робот просто запрашивает на вашем сайте URL «/robots.txt», сайт в данном случае – это определенный хост на определенном порту.

На сайте может быть только один файл «/robots.txt». Например, не следует помещать файл robots.txt в пользовательские поддиректории – все равно роботы не будут их там искать. Если вы хотите иметь возможность создавать файлы robots.txt в поддиректориях, то вам нужен способ программно собирать их в один файл robots.txt, расположенный в корне сайта. Вместо этого можно использовать Мета-тег Robots.

Не забывайте, что URL-ы чувствительны к регистру, и название файла «/robots.txt» должно быть написано полностью в нижнем регистре.

Как видите, файл robots.txt нужно класть исключительно в корень сайта.

Что писать в файл robots.txt

В файл robots.txt обычно пишут нечто вроде:

User-agent: *Disallow: /cgi-bin/Disallow: /tmp/Disallow: /~joe/

В этом примере запрещена индексация трех директорий.

Затметьте, что каждая директория указана на отдельной строке – нельзя написать «Disallow: /cgi-bin/ /tmp/». Нельзя также разбивать одну инструкцию Disallow или User-agent на несколько строк, т.к. перенос строки используется для отделения инструкций друг от друга.

Регулярные выражения и символы подстановки так же нельзя использовать. «Звездочка» (*) в инструкции User-agent означает «любой робот». Инструкции вида «Disallow: *.gif» или «User-agent: Ya*» не поддерживаются.

Конкретные инструкции в robots.txt зависят от вашего сайта и того, что вы захотите закрыть от индексации. Вот несколько примеров:

Запретить весь сайт для индексации всеми роботами

User-agent: *Disallow: /

Разрешить всем роботам индексировать весь сайт

User-agent: *Disallow:

Или можете просто создать пустой файл «/robots.txt».

Закрыть от индексации только несколько каталогов

User-agent: *Disallow: /cgi-bin/Disallow: /tmp/Disallow: /private/

Запретить индексацию сайта только для одного робота

User-agent: BadBotDisallow: /

Разрешить индексацию сайта одному роботу и запретить всем остальным

User-agent: YandexDisallow:

User-agent: *Disallow: /

Запретить к индексации все файлы кроме одного

Это довольно непросто, т.к. не существует инструкции “Allow”. Вместо этого можно переместить все файлы кроме того, который вы хотите разрешить к индексации в поддиректорию и запретить ее индексацию:

User-agent: *Disallow: /docs/

Либо вы можете запретить все запрещенные к индексации файлы:

User-agent: *Disallow: /private.htmlDisallow: /foo.htmlDisallow: /bar.html

robotstxt.org.ru