Внутренняя оптимизация. Modx evo robots txt
Внутренняя оптимизация сайта
Ускоряем индексацию сайта с помощью канонических ссылок.
Ускорение индексации: XML карта сайта.
Ускорение индексации сайта с большим количеством страниц.
Рассматриваем основные критерии, влияющие на скорость индексации сайта.
Полное описание работ по внутренней оптимизации сайта на MODx Evo
rel=canonical или избавляемся от дублей при пагинации.
Корректный файл robots.txt для сайта на MODx Evolution.
Верный файл htaccess для MODx Evo, скачиваем и пользуемся.
Данный раздел в большей степени будет посвящен решениям для внутренней оптимизации сайта на CMS MODx Evolution.
В частности будет уделено внимание:
- правильному содержимому файла robots.txt;
- правильному содержимому файла .htaccess;
- настройке ЧПУ;
- избавлению от дублей страниц;
- и многому другому.
В целом после ознакомления с разделом, вы сможете эффективно провести внутреннюю оптимизацию своего сайта и продолжить работу наде его продвижением.
P.S. Если у вас будут пожелания по освещению определенных тем, отправляйте их мне по обратной связи.
modx-evo.ru
Файл robots.txt
Пример файла robots.txt
Предназначение файла robots.txt довольно простое, это разрешение или запрет поисковым машинам (ПС) индексирование того или иного файла или документа. Тем самым ускоряя индексацию сайта ПС.
Для ясности рассмотрим вышеописанное на примере:
Простейший robots.txt
User-agent: *Disallow: /admin/Host: www.vash-site.ru
В этом примере для всех поисковых систем запрещена индексация каталога admin.
Значение Host: www.vash-site.ru в robots.txt
Если у вас есть несколько зеркал сайта, на главном сайте указываете основной адрес, например, www.vash-site.ru, а на других сайтах указываете эту директиву с ОСНОВНЫМ сайтом.
В примере:
Сайт 1 www.pomidor.ru директиву Host: www.pomidor.ru
Сайт 2 www.vash-pomidor.ru директиву Host: www.pomidor.ru
В этом случае яндекс примет за основной сайт www.pomidor.ru, а www.vash-pomidor.ru будет считать зеркалом.
Для google схема другая, настройки производятся в файле .htaccess
Допустим, у вас CMS MODx, и в ней есть каталоги (файлы), которые поисковым машинам видеть ни к чему, например, администраторскую часть сайта. Или каталог с изображениями, документами PDF, Word, Excell и так далее, суть понятна.
В MODx уже встроен robots.txt, поэтому будем разбирать на его примере. Изначально он называется sample-robots.txt, удалив sample- получаем рабочий файл.
Пример robots.txt в MODx:
|
# Default modx exclusions User-agent: * Disallow: /assets/cache/ Disallow: /assets/docs/ Disallow: /assets/export/ Disallow: /assets/import/ Disallow: /assets/modules/ Disallow: /assets/plugins/ Disallow: /assets/snippets/ Disallow: /install/ Disallow: /manager/ # For sitemaps.xml autodiscovery. Uncomment if you have one: # Sitemap: http://example.com/sitemap.xml |
Разберем строки:
Во-первых, символ решетки, # , значит комментарий строки
User-Agent: *Указание поисковых систем, * значит «всем поисковым системам»
Disallow: /assets/cache/Disallow: Запретить индексацию этого каталога /assets/cache/
Получается :
всем поисковым системам Запретить индексацию этого каталога.
Дополнение от 07,10,2011:
Директива Crawl-delay
Эта директива указывает поисковому пауку таймаут при сканировании, помогает когда сервер загружен и не успевает отдавать роботу контент, из за этого сайт может выпасть из индекса поисковика.
Директива устанавливается в секундах.
Crawl-delay: 4
Это значит что робот НЕ будет сканировать страницы сайта ЧАЩЕ чем раз в 4 секунды.
Пример использования:
"Crawl-delay" нужно добавлять в группе, которая начинается с записи "User-Agent", непосредственно после директивы "Disallow".Пример:User-Agent:*Disallow:/admin.phpHost: imho74.ruSitemap: http://imho74.ru/sitemap.xml
User-agent: YandexCrawl-delay: 4User-agent: googlebotcrawl-delay: 10User-agent: MSNbotCrawl-Delay: 15
Важно: robots.txt должен сохраняться в кодировке UTF-8
Если вам нужна более детальная информация, загляните на сайт robotstxt.org.ru, он всецело посвящен этому файлу и роботам ПС.
www.imho.74pro.ru
|
SeoYes | SEO простыми словами Создание, настройка и проверка robots.txt. Вся полезная информация по файлу роботс тхт на блоге SeoYes.ru от специалиста в SEO-оптимизации. seoyes.ru robots txt, скачать robots, файл robots, robots txt для сайта, настройка robots Рейтинг Alexa: #15,511,290 Google PageRank: 0 из 10 Яндекс ТИЦ: 0 |
Рейтинг: 33.3 |
|
|
Все о файле «robots.txt» по-русски — как правильно составить файл robots.txt. Запрет индексации сайта. Файл robots.txt – это текстовый файл, находящийся в корневой директории сайта, в котором записываются специальные инструкции для поисковых роботов. Если вы – robotxt.ru robots.txt, robots, роботс Google PageRank: 0 из 10 Яндекс ТИЦ: 600 |
Рейтинг: 30.1 |
|
|
Все о файле «robots.txt» по-русски — как правильно составить файл robots.txt. Запрет индексации сайта. Файл robots.txt – это текстовый файл, находящийся в корневой директории сайта, в котором записываются специальные инструкции для поисковых роботов. Если вы – robotstxt.org.ru robots.txt, robots, роботс Google PageRank: 0 из 10 Яндекс ТИЦ: 600 |
Рейтинг: 30.0 |
|
|
Мой robots.txt Всё о robots.txt. Описание, синтаксис, оптимизация под CMS. myrobotstxt.ru robots.txt, роботы, пауки, индексация, индесирование Рейтинг Alexa: #1,601,791 Google PageRank: 0 из 10 Яндекс ТИЦ: 0 |
Рейтинг: 28.7 |
|
|
Создание сайтов и блогов, раскрутка, заработок в интернете | ExeTexE.ru exetexe.ru sitemap wordpress, карта сайта wordpress, для, плагин, robots.txt для wordpress Google PageRank: 0 из 10 |
Рейтинг: 28.4 |
|
|
Галерея для modx Evo. Плейсхолдеры, Параметры галерея для modx. Скачать PSSGallery Отличная галерея для Modx Evo. Установка занимает не более 2 минут. Не требует навыков программирования. modx-store.ru галерея modx, галерея для modx, modx галерея, modx evo галерея Google PageRank: 0 из 10 Яндекс ТИЦ: 0 |
Рейтинг: 27.6 |
|
|
Анчар | Главная Modx EVO отличное решения для Вас anchar.ru modx evo, cms, best cms Google PageRank: 0 из 10 Яндекс ТИЦ: 10 |
Рейтинг: 22.4 |
|
rankw.ru
