Плагин Robots txt для WordPress. Роботс тхт для вордпресс
Файл Robots.txt для WordPress
Robots.txt — это стандартизированный в соответствии с плановыми протоколами текстовый файл, который находится в корневом каталоге продвигаемого сайта. В нем содержатся инструкции для роботов-аналитиков поисковых систем. Именно с помощью Robots.txt ботам можно запретить индексацию тех страниц и разделов сайта, индексация которых нежелательна, указать зеркало сайта, ну и, конечно же, указать путь к файлу sitemap
Собственно заголовок статьи можно было сделать без добавления слов для «для WordPress, однако
файл Robots.txt для WordPress
по умолчанию на этой платформе не создается и его можно создать используя не только возможности текстовых редакторов(блокнот и пр.) и загрузки его в корневую директорию блога, но и используя имеющиеся плагины, созданные для WordPress. Мой рассказ будет базироваться на способе с использованием плагина KB Robots.txt и созданию такого самостоятельно.
Для начала обратимся к популярному поисковику Wikipedia и посмотрим, что он рассказывает по поводу этого файла:
Файл robots.txt используется для частичного управления индексированием сайта поисковыми роботами. Этот файл состоит из набора инструкций для поисковых машин, при помощи которых можно задать файлы, страницы или каталоги сайта, которые не должны индексироваться.
Файл robots.txt может использоваться для указания расположения файла и может показать, что именно нужно, в первую очередь, проиндексировать поисковому роботу.
По-моему все достаточно ясно сказано и нужен этот текстовой файл, главным образом для того, что бы оградить сайт от индексации не нужных страниц во избежания дублирования контента и прочего мусора, который никак не должен попасть в поле зрения поисковых систем.
1. Создание и настройка файла robots.txt с помощью плагина KB Robots.txt
Очень просто: «Плагины» — «Добавить новый»- в поле поиска robots.txt, затем установить и активировать. Далее открываем страницу настроек плагина и в специальном окне создаем файл.
2. Правильная настройка файла robots.txt
Для того, чтобы настроить именно правильный robots.txt, нужно использовать директивы User-agent, Disallow и Allow.
Директива Disallow — запрещающая, Allow — разрешающая индексацию определенных страниц сайта.
Поисковые роботы(боты) читают содержимое файла (как впрочем и исходный код любой страницы) сверху-вниз, поэтому именно User-agent должна стоять первой строкой.
User-agent: *
Для яндекса рекомендуется составляется отдельный файл и он, как правило дублирует основной и начинается с для Яндекса строка будет выглядеть так:
Что и какие страницы приводят к дублированию контента? В первую очередь это архивы, теги, страницы комментариев, ленты rss комментариев, страницы содержащие в своих URL знаки вопроса и т.д.Обязательно запрещаем их к индексации.Вот как, обычно выглядят файлы ( на примере своего):
3.Создание файла robots.txt без плагина
Еще лучше вообще все сделать без плагина: для этого нужно создать текстовой файл в блокноте с именем robots.txt , вставить в него все нужные строки и загрузите его в корневую папку блога, прежде деактивировав плагин. После проверки состояния работы файла — плагин вообще можно удалить.
Кстати, что бы узнать как выглядит файл для любого сайта, нужно к главной странице сайта http://сайт.ru/ добавить запись robots.txt
Для того, что бы увидеть, как выглядит эта страница для моего блога — введите в адресную строку браузера http://prt56.ru/robots.txt
Важно:
Каждому начинающему вебмастеру нужно знать, что составление такого важного файла как Файл Robots.txt для WordPress и не только для WordPress, но и многих сайтов на других движках а так же для автономных сайтов, обязательная операция. Чем быстрее это будет сделано, тем лучше.
Уважаемые читатели, в дополнение к статье о файле robots.txt, рекомендую просмотреть эти два видео урока. Надеюсь они дополнят тот материал, который я выложил в этом поcте и избавят автора от лишних вопросов (шучу :).
Удачного вам просмотра и отличной индексации вашим сайтам!
prt56.ru
Файл robots.txt для Wordpress
Очень небольшой текстовый файл robots.txt для WordPress, которые делает большие вещи. Если Вы его неправильно сделали или у Вас его нет, то он делает очень плохие вещи.
Для чего нужен файл robots txt?
На вашем сайте wordpress много папок и файлов и, когда поисковый робот приходит на сайт, он начинает везде лазить. Поисковый робот не знает, куда ему можно лезть, а куда нельзя. Вообще, robots.txt имеет множество тонкостей, но основные (важные) моменты я выделил.1) Файл robots.txt нужен, чтобы убрать путаницу с зеркалами сайта и убрать проблему дублирующегося и ненужного контента.
Что это значит?Если файл robots.txt отсутствует, то Ваш сайт будет иметь два зеркала (две ссылки):http://infosovety.ruhttp://www.infosovety.ruЭти ссылки будут указывать на один и тот же сайт.Файл robots.txt эти зеркала склеит в одно главное зеркало.
2) Также в robots txt можно разрешить или запретить индексацию основных разделов сайт wordpress. Например, запретить индексировать RSS ленту и административную панель.
3) Файл robots.txt указывает путь на карту сайта.
Важно! Склеивание происходит в течение 2-3 недель. И в этот момент может происходить переиндексация ваших страниц, которые были закружены поисковым роботом яндекса.Не стоит этого пугаться! Это пройдёт, когда завершится полностью склеивание зеркала.
Важно! Обязательно проверьте наличие в корневой папке файла robots txt. Если ващ сайт на WordPress, то файл robots.txt должен находиться в папке publick.html., которая размещена на хостинге.
Сразу хочу предупредить, что файл robots. txt на всех сайтах выглядит по-разному. Я даю универсальный вид, который подходит для wordpress. Если Вам нужно будет файл изменить, то вы всегда сможете его дописать, когда будите в нём разбираться.
Скачать файл robots.txt для WordPress
Посмотреть мой robots.txtСкачать robots.txt для WordPress
ВАЖНО! В данном файле нужно изменить одну вещь – прописать свой URL сайта (просто подставьте свой url)вместо vashsait.ru. Больше ничего менять не нужно.
Для тех, у кого файл robots.txt давно установлен, рекомендую проверить его на наличие одного маленького «ПРОБЕЛА».Внимание! Если Вы нашли этот «пробел», то удалите его!!!
Как проверить файл robots.txt на наличие пробела
Выделите весь код! Если выделились все строчки целиком, то всё хорошо. Если какая-то пустая строчка целиком не выделилась, а лишь один прозрачный символ (это и есть пробел), то удалите его клавишей delete. После чего закачайте себе на хостинг.
Если вам есть, что добавить по теме “ robots txt для wordpress ”, то оставьте свой комментарий.
С уважением, Никита Мельников!
infosovety.ru
Пример правильного robots.txt для wordpress
У меня есть пару друзей которые тоже ведут автономные блоги на WordPress.
И тоже начали не так давно.
Ну я вот вчера ночью сидел и анализировал их внутреннюю оптимизацию.
И пришел к выводу что некоторым из них нужна помощь.
Точнее не помощь а пару советов.
Ранее я уже рассказывал как настроить rss и что потом с этим rss делать.
Теперь пришло видимо время рассмотреть файл robots.txt
И так.
файл robots.txt ( он кстати лежит в корне сайта ) нужен для создание "инструкций" поисковым роботам.
Если уж совсем по простому, то он объясняет поисковикам что можно индексировать а что нет.
Это ускоряет индексацию, помогает избежать дублирование контента и не забивает поисковики "ненужным хламом" который они так не любят.
Конфигураций конечно может быть много.
Но я считаю что для WordPress подходит примерно следующая.
******
User-agent: Yandex Allow: /wp-content/uploads/ Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /xmlrpc.php Disallow: /template.html Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /wp-trackback Disallow: /wp-feed Disallow: /wp-comments Disallow: */trackback Disallow: */feed Disallow: */comments Disallow: /tag Disallow: /category Disallow: /archive Disallow: */trackback/ Disallow: */feed/ Disallow: */comments/ Disallow: /?feed= Disallow: /?s= Host: указываете ваш основной домен, с www он или без ( к примеру delexp.net ) User-agent: * Allow: /wp-content/uploads/ Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /xmlrpc.php Disallow: /template.html Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /wp-trackback Disallow: /wp-feed Disallow: /wp-comments Disallow: */trackback Disallow: */feed Disallow: */comments Disallow: /tag Disallow: /category Disallow: /archive Disallow: */trackback/ Disallow: */feed/ Disallow: */comments/ Disallow: /?feed= Disallow: /?s= Sitemap: http://вашсайт.ру/sitemap.xml* я использую именно такой пример конфига. можете проверить http://delexp.net/robots.txt ** эта версия конфига была выявлена экспериментальным путем - читать здесь и здесь
в принципе даже особо гуглить не надо что бы понять что запрещает этот конфиг.
он отрезает все лишнее и ничего больше.
просто создаете файл robots.txt копируете туда изложеное выше и кидаете в корневик блога.
все счастливы.
Захаров Вадим
Плагин Robots txt для WordPress
Здравствуйте!Хочу предложить всем, кто использует WordPress, плагин RobotsTxT от автора блога BlogGood.ru и StepkinBLOG.RU.Плагин RobotsTxT поможет автоматически создать файл «robots.txt» с готовым стандартным кодом, если, естественно, у вас его на сайте не было.Также у плагина RobotsTxT есть возможность редактировать файл «robots.txt».Плагин бесплатный и на русском языке.
Плагин RobotsTxT для WordPress
Скачать плагин
Как использовать плагин RobotsTxT
1). Скачайте и установите плагин.Для этого перейдите в админ-панели «Плагины» => «Добавить новый»:
2). Далее нажмите «Загрузить плагин» и укажите на архив скаченного плагина:
После активации плагина с левой стороны меню появится раздел «RobotsTxT». Перейдите по нему:
3). Если у вас не был создан файл «robots.txt», тогда вы сразу увидите две кнопки:
«Создать robots.txt с готовым кодом» и «Создать robots.txt без кода».
→ Если вы нажмете на кнопку «Создать robots.txt с готовым кодом», то создастся файл «robots.txt» с готовым стандартным кодом. После этого вы сможете вносить свои изменения и сохранять.
→ Если вы нажмете на кнопку «Создать robots.txt без кода», то создастся чистый файл «robots.txt». После этого вы сможете внести свой код, сохранить и редактировать.
Я думаю, вы останетесь довольны моим изобретением ))). Ведь в нем нет ничего лишнего, все просто, а огромный плюс в том, что плагин на понятном русском языке!
Скачать плагин
Понравился пост? Помоги другим узнать об этой статье, кликни на кнопку социальных сетей ↓↓↓
Последние новости категории:
Похожие статьи
Популярные статьи:
Добавить комментарий
Метки: wordpress
bloggood.ru
