Зачем вам топ? Где находится файл robots txt wordpress
robots txt для wordpress
На Украине сейчас морозы серьезные, не зря февраль на украинском языке пишется “лютый”, точней и не скажешь.
На днях, читательница моего блога, Зоя, просила проконсультировать её по одному вопросу на блоге и я заметил, что файл robots.txt у нее содержит небольшие ошибки. Следствием этого может являться проблемы с индексацией страниц. После этого я словил себя на мысли, что еще не освещал подобную тему, так созрела идея нового поста.
Данный вопрос для новичков очень важен, с этим файлом необходимо раз разобраться, правильно составить, загрузить на хостинг и забыть. Для тех, кто ведет блог давно, этот вопрос не вызовет сложностей.
Файл robots.txt является рекомендацией для поисковых роботов и указывает, что нужно индексировать в содержимом вашего блога, а что скрыть от индексации.
Важно для молодого сайта создать правильный файл robots.txt и разместить его в корневой директории вашего блога. После этого поисковые роботы (Google и Яндекс) будут иметь конкретные директивы , какие записи и посты необходимо индексировать, а которые нет.
Если не корректно составить этот файл, то можно создать огромное количество дублированных страниц, что в свою очередь приведет к попаданию блога под фильтры поисковых систем.
Я представлю вам универсальный пример файла robots.txt для wordpress, который размещен у меня. На любом блоге этот файл доступен по ссылке вашсайт.ru/robots.txt , где название сайта – его url
Если хотите детально разобраться во всех тонкостях файла, можете почитать тут
Итак, вот скрин моего файла robots.txt, скопировать содержимое можно пройдя по ссылке- http://rabotaiuspeh.com/robots.txt
Немного пояснений:
User-agent: * — знак “*” означает, что правила рекомендуют всем поисковым машинам.
User-agent: Yandex — для Яндекса нужно прописывать директиву персонально.
Disallow (англ. не разрешать): cqi-bin — cqi-bin это директория на сервере, где находятся скрипты, предназначенные для выполнения, эта папка находится в корневом каталоге.
Host: rabotaiuspeh.com – это главное зеркало моего блога
Sitemap: http://rabotaiuspeh.com/sitemap.xml Sitemap: http://rabotaiuspeh.com/sitemap.xml.gzВ последних двух строчках прописан адрес карты сайта для поисковых роботов
Не забудьте изменить внизу на свой url вместо моего http://rabotaiuspeh.com
А также можете в первую верхнюю часть добавить строки
Disallow: /*?* Disallow: /*?Я их пока удалил, поскольку избавляюсь от дублей replytocom, которые вызваны древовидными комментариями ( подробности )
Основные правила составления файла robots.txt для wordpress
Важно!
- Между записями для одного поисковика в файле не должно быть пустых строк
- Имя “файл robots.txt” пишется только малыми буквами (писать Robots.txt или roBots.Txt не верно!)
- Строки
Disallow: /category/*/*
Disallow: /tag/
Прописывайте на ваше усмотрение, я категории закрываю, а теги у меня открыты
4. Если у вас ЧПУ в настройках (ссылки имеют вид http://rabotaiuspeh.com/kak-najjti-i-obezvredit-dubli-stranic-replytocom.html), то данный файл вам подойдет.
Если у вас в настройках стандартные ЧПУ (имеют вид http://rabotaiuspeh.com/?p=123), тогда уберите строку
Disallow: /*?*5. Вы всегда можете зайти и подкорректировать файл robots.txt , но не делайте это слишком часто. Не ждите мгновенных изменений в индексации после изменений файла, подождите пару недель, особенно, если у Вас молодой сайт. Помните, что поисковым роботам необходимо время для изменений.
Теперь полученный файл вы должны залить при помощи ftp-клиента в корневую папку вашего блога, если хотите подкорректировать уже существующий, то откройте через Notepad++ , измените и нажмите “сохранить”.
Анализ файла robots.txt и добавление в Яндекс и Google вебмастер
После этого вам желательно зайти в панель вебмастеров Яндекс (по ссылке)
Далее выберите свой сайт и слева “Настройка индексирования” =>>”Анализ robots.txt”
Затем добавляете свой файл robots.txt и проверяете его нажав на “проверить”
Для Google проводите подобные действия: регистрируйтесь, добавляйте свой сайт, затем в панели для вебмастеров добавляете для конкретного сайта файл robots.txt.
Теперь вы знаете, как правильно составить файл robots.txt, на что обратить внимание при его редактировании и как правильно добавить в панели для вебмастеров Google и Yandex.
здесь ваш рекламный код №1
Если есть вопросы или замечания по теме, пожалуйста пишите в комментариях. Буду признателен, если поделитесь данной статьей в социальных сетях, кнопки в конце поста.
Сегодня финиширует январский конкурс комментаторов, в 24-00 по Москве сделаю скрин, всем участникам УДАЧИ!
В завершении поста прекрассный захватывающий ролик, приятного просмотра:
До встречи!
Интересные статьи по данной теме:
Как ускорить индексацию сайта в Яндекс и Google
Оптимизация базы данных (MySQL), установка Optimize DB
Внутренняя оптимизация сайта – основные моменты
Как ускорить индексацию страниц сайта – 12 советов
С уважением, Вилков Николай
Хотите в числе первых узнавать о новых статьях и курсах?
Подпишитесь на обновления моего блога и мой канал на YouTube Если статья вам понравилась, поделитесь с друзьями в социальных сетях. Спасибо!
rabotaiuspeh.com
Где находится robots в wordpress?
Дурацкий вопрос, не так ли? Ну, все же знают – какая разница, какая админка, robots.txt – текстовый файл, лежащий в корневой директории. Это даже яндекс в своем хелпе пишет: Robots.txt — текстовый файл, расположенный на сайте, который предназначен для роботов поисковых систем.
И вот я вижу на сайте клиента роботс из строчек:
User-agent: * Disallow: Sitemap: http://mysite.ru/sitemap.xml.gzПример не просто так, это станет ясно позже.
Иногда я вспоминаю, как начинались вебсайты – чистый html, правка только через FTP, и глаза мои наполняются огромной ностальгической слезой:) Потому что, хотя все, что мы видим на экране, физически суть нули и единицы, все же естественно предполагать, что page.html – это страница на html, page.asp – на asp, page.php – на php. Но нет, увы. Коварный прогресс внес свою виртуальную сумятицу в виртуальный мир – теперь можно, например, писать сайт на php, все хранить в базе данных, а выдавать клиенту как php, asp, html, fig, znaet, chto, escho, pridumaesh… И к этому мы привыкли быстро.
Но к тому, что чисто текстовый файл robots.txt правится через админку и по сути является таким же продуктом цмски, хранящимся в БД… Это меня все еще продолжает смущать.
Итак,
Где правится robots.txt в wordpress?
Я залез на FTP, увидел, что текстового файла нет, сжал губы – понял, что эта хрень хранится в БД. Написал свой роботс – залил и… Ничего не изменилось. Хотя приоритет у физического варианта, если так можно назвать текстовый файлик, обязан быть.
Пошел искать в сеть. Нашел только мануал для идиотов: зайдите в админку, найдите слова Options > Robots.txt и правьте… При этом, что примечательно, предупреждение, что если уж правите через wp, то не заливайте настоящий роботс на сервер… Ну да…
Плагины для создания РОБОТС на ВОРДПРЕССе
Не буду вас долго мучить, хотя, пользуясь случаем, передаю привет благодарность человеку, нашедшему, тоже не сразу, решение проблемы – Александр Милевский, прошу любить и жаловаться.
Оказывается, существует плагин Google (XML) Sitemaps Generator for WordPress основное предназначение которого – создание xml-карт. Для удобства идиотов пользователей этот плагин не только генерит карту, но тут же сжимает ее, создает роботс и вписывает адрес сжатой карты туда. Все бы было хорошо… Только при этом он не дает этот роботс править.
Выключение плагина не дало результатов.
Удаление плагина не дало результатов.
Все получилось только когда под косу подложили камень – установили другой плагин для создания и правки robots.txt – KB Robots.Txt
Он переписал в базе данные роботса, созданные предыдущим.
Проблема решена.
Тихая ненависть к облегчателям жизни оптимизаторов осталась:)
VN:F [1.9.7_1111]
Rating: 10.0/10 (3 votes cast)
VN:F [1.9.7_1111]
Как поправить robots.txt в wordpress?, 10.0 out of 10 based on 3 ratingswordpress и robots.txt - самый правильный вариант
Правильный robots.txt для wordpress указывает поисковым роботам на правила индексации вашего блога, т.е. что индексировать, а на что закрывать «глаза».Ведь именно этот файл проверяют в первую очередь поисковые машины, заходя на ваш сайт.
О том что такое robots.txt в сети можно найти очень много информации, в т.ч. как этот файл правильно прописать, но все эти статьи либо некорректные либо скопированные друг у друга.
На досуге наткнулся я на пост «Дублированный контент и параметр replytocom«, перепроверил файл robots.txt, оказалось, что он требует корректировки.
В свою очередь, спешу поделиться с Вами, дорогие читатели, с правильным robots.txt для wordpress от Студии-ГОСТ.
Где находится файл robots.txt?
Файл размещается в корневой директории сайта. Например:
http://studio-gost.ru/robots.txt
Настройки robots.txt
1. User-Agent
Это имя поискового робота, к которому применяются нижеследующие правила вплоть до конца абзаца(не допускается пустое значение)
2. Allow и Disallow
Разрешает и, соответственно, запрещает индексацию указанных разделов блога. Allow воспринимают только Гугл и Яндекс, остальные поисковики его не видят.Сначала нужно использовать директиву Allow, а только после нее Disallow. Также между ними не ставятся пустые строки – иначе так робот поймет, что инструкция закончилась. После директивы User-Agent также не допускаются пустые строки.
3. Host
Указывает какое зеркало сайта считать главным для избежания попадания под фильтр. Сайт доступен по нескольким адресам минимум с www и без www, и для избежания полного дублирования страниц.
4. Sitemap
Указывает роботу наличие и адрес карты сайта в формате XML
Правильный robots.txt для wordpress
User-agent: * Allow: */uploads Disallow: /cgi-bin Disallow: /wp- Disallow: */feed Disallow: /search Disallow: /xmlrpc.php Disallow: /tag Disallow: /category Disallow: /archive Disallow: */trackback Disallow: /*?* Host: studio-gost.ru Sitemap: http://studio-gost.ru/sitemap.xml
User-agent: * Allow: */uploads Disallow: /cgi-bin Disallow: /wp- Disallow: */feed Disallow: /search Disallow: /xmlrpc.php Disallow: /tag Disallow: /category Disallow: /archive Disallow: */trackback Disallow: /*?*
Host: studio-gost.ru
Sitemap: http://studio-gost.ru/sitemap.xml |
Директивы Host(главное зеркало сайта) и Sitemap(путь к карте сайта) являются межсекционными и поэтому будут учитываться роботом в любом месте в файле robots.txt. Следовательно, не надо дублировать секцию полностью, ради указания директивы Host для Яндекса.
Проверка robots.txt в инструментах Яндекс и Google
Работоспособность своего файла robots.txt вы всегда можете проверить в вебмастерских разделах поисковиков. При редактировании своего файла я всегда проверяю его на корректность.
Вебмастер яндекс
У яндекса (webmaster.yandex.ru) раздел находится в «Настройки индексирования->Анализ Robots.txt«.
Вебмастер google
У google (google.com/webmasters) раздел «Состояние->Заблокированные URL«.
Напоследок хочу напомнить, что изменения в robots.txt на уже рабочем блоге будут заметны только спустя 1-3 месяца.
PS Если кто еще знает как можно улучшить Robots.txt пишите в комментариях.
Понравился пост, подпишись на обновления
Понравилась статья? Получай свежие статьи первым по e-mail
[newsletter_signup_form id=0]studio-gost.ru
Устанавливаем файл robots.txt для wordpress
Приветствую вас на своем блоге — Блогомания!!!
Сегодня у нас речь пойдет об очень важном файле, который называется wordpress robots.txt. так для чего же нам нужен этот файл?
wordpress robots.txt — ограничивает доступ к содержимому на вашем блоге, и не дает индексировать те файлы, папки, которые не нужно индексировать. Этот файл должен находиться в корневой папке вашего блога. Так как речь идет о движке wordpress, тогда и писать мы будем robots.txt именно для блога — для движка wordpress….
Вот более подробно о robots.txt wordpress из Википедия:
Стандарт исключений для роботов (robots.txt) — файл ограничения доступа к содержимому роботам на http-сервере. Файл должен находиться в корне сайта (то есть иметь путь относительно имени сайта /robots.txt). При наличии нескольких поддоменов файл должен располагаться в корневом каталоге каждого из них. Данный файл дополняет стандарт Sitemaps, который служит прямо противоположной цели: облегчать роботам доступ к содержимому.Использование файла добровольно.
Стандарт был принят консорциумом W3C 30 января 1994 года в списке рассылки [email protected] и с тех пор используется большинством известных поисковых машин.Файл robots.txt используется для частичного управления индексированием сайта поисковыми роботами.
Этот файл состоит из набора инструкций для поисковых машин, при помощи которых можно задать файлы, страницы или каталоги сайта, которые не должны индексироваться.Файл robots.txt может использоваться для указания расположения файла и может показать, что именно нужно, в первую очередь, проиндексировать поисковому роботу.
Как я уже говорил выше — на нашем блоге есть куча папок, которые не нужно индексировать, и для этого собственно мы и ставим wordpress robots.txt. он просто будет запирать доступ к этим папкам, и не станет тратить время на их индексацию.Составить wordpress robots.txt очень просто. Составьте у себя на рабочем столе текстовой файл с названием robots.txt и в нем пропишите следующее:
| User-agent: * Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /webstat/ Disallow: /feed/ Disallow: /trackback Disallow: */trackback Disallow: */feed Disallow: */comments Disallow: /*?* Disallow: /*? Disallow: /category/*/* Disallow: /wp-content/plugins Disallow: /wp-content/themes Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /comments User-agent: Yandex Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /webstat/ Disallow: /feed/ Disallow: /trackback Disallow: */trackback Disallow: */feed Disallow: */comments Disallow: /*?* Disallow: /*? Disallow: /category/*/* Disallow: /wp-content/plugins Disallow: /wp-content/themes Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /comments Host: blogomaniy.ru Sitemap: http://blogomaniy.ru/sitemap.xml Sitemap: http://blogomaniy.ru/sitemap.xml.gz |
User-agent: * Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /webstat/ Disallow: /feed/ Disallow: /trackback Disallow: */trackback Disallow: */feed Disallow: */comments Disallow: /*?* Disallow: /*? Disallow: /category/*/* Disallow: /wp-content/plugins Disallow: /wp-content/themes Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /comments User-agent: Yandex Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /webstat/ Disallow: /feed/ Disallow: /trackback Disallow: */trackback Disallow: */feed Disallow: */comments Disallow: /*?* Disallow: /*? Disallow: /category/*/* Disallow: /wp-content/plugins Disallow: /wp-content/themes Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /comments Host: blogomaniy.ru Sitemap: http://blogomaniy.ru/sitemap.xml Sitemap: http://blogomaniy.ru/sitemap.xml.gz
Не забудьте указать вместо моего сайта: http://blogomaniy.ru/ — свой, и будет вам счастье!!!Теперь просто закидывайте wordpress robots.txt в корневую папку, и на этом все.
С уважением, Александр.
Посмотрите еще интересные записи:
Блогостроение robots.txt, wordpress robots.txt
blogomaniy.ru
