Правильная карта сайта ускоряет индексацию в 3,14 раз. Карта сайта xml битрикс

[1C Битрикс] Автогенерация карты сайта sitemap.xml с помощью crontab

Главная » Новости

Опубликовано: 02.06.2017

видео [1C Битрикс] Автогенерация карты сайта sitemap.xml с помощью crontab

Карты Google и Яндекс -- все варианты создания на Битриксе

Сегодня сделаем автоматическую генерацию карты сайта sitemap.xml на кроне с помощью небольших изменений стандартной генерации карты в Битриксе.

Очень наболевшая тема для больших интернет-магазинов с сотней тысяч товаров, с автоматической синхронизацией каталога с разного рода поставщиками, да и вообще все сайтам пригодится, но на простецких визитках и магазинах с ручным управление уже не так критично, можно оставить все как есть.

Автогенерация SEO-данных по шаблонам в Битриксе 14 версии

Почему это очень нужно именно на больших магазинах? Да дело в том, что обновление всех файлов карты сайта повешаны на события изменения/добавления/удаления элемента и раздела инфоблока, что при синхронизации каталога товаров, когда например, обновляется товар или создается новый, при каждой такой операции и обновляется соответствующий файл карты сайта, например в корне сайта это файл sitemap_iblock_6.xml, при 100 000 товарах он может быть размером в несколько мегабайт, кто уже давно в веб-разработке думаю понимает, какая это нагрузка на дисковую систему и память, когда многомегабайтный файл на диске целый час не переставая перезаписывается, в память пишется вся карта, потом эта карта сбрасывается на диск, и так например каждый час 100 000 товаров синхронизируются создавая просто огроменную нагрузку на сервер, дешевая VPS-ка такой нагрузки уже не выдержит, думаю многие с этим уже сталкивались, а кому-то и предстоит столкнуться.

Еще конечно события генерации карты сайта и на другие модули повешаны, но в этой статье мы их не касаемся, нам нужны только инфоблоки, синхронизация к примеру 100 000 товаров с характеристиками, всякие форумы, реклама и т.д. мне не нужны, а вы смотрите сами, какие у вас стоят задачи.

indamusic.ru

[1C Битрикс] Автогенерация карты сайта sitemap.xml с помощью crontab

Новости

Где купить чехол на телефон

В наше время практически у каждого человека есть мобильный телефон, а молодое поколение стремится приобрести новые модели, особенно славятся среди молодежи айфоны! Подчеркнуть свою индивидуальность

Натяжные потолки

Натяжной потолок способен почти мгновенно преобразить вид помещения. Установка такого потолка занимает 2–3 часа и может проводиться как в рамках капитального либо косметического ремонта, так и в качестве Подземные резервуары

Еще недавно технологические решения, касающиеся хранения горючих и легковоспламеняющихся жидкостей не были столь сложными, как сегодня. В подавляющем большинстве случаев заказчиков данного вида продукции Seo анализ это

Главная цель SEO-текста – попасть на верхние позиции в поисковой выдачи, еще они называются поисковым ТОПом. Идеально, когда написанный вами текст находится на 1-3 строках в выдаче Яндекса и Гугла. Подавляющее Где купить жалюзи

Шторы, это полезное изобретение человека, известное еще с древнейших времен. В процессе эволюции оно почти не изменилось, но остается востребованным изделием для всех помещений. Предназначение тоже осталось Joomla instagram

Как установить виджет instagram на свой сайт? Почему-то готового решения для внедрения от разработчиком социальной сети нет. Но это не повод отчаиваться — у instagram-а открыт API, поэтому можно Горшки lechuza

Динамичный ритм жизни современного человека не позволяет получать максимум удовольствия от ухода за живой природой. Не стоит отчаиваться и отказываться от растений в доме, если у вас катастрофически не Кухни модульные Интернет

Модульная мебель для кухни дает возможность индивидуализировать интерьер. Купить модульную мебель для кухни можно без проблем: продажа повсеместна, цена реальна. Неудивительно, что модульная мебель для Пресс для производства шлакоблока

Если посмотреть на статистические исследования, то можно увидеть, что строительная отрасль народного хозяйства отличается в наше время высокой стабильностью и показывает довольно хорошие темпы роста. Купить оптом в Украине- Киев

Каждый человек в своей жизни должен вырастить детей, посадить дерево и, если уж не построить дом, то хотя бы сделать ремонт : ). А ремонт - дело серьезное, оно несет с собой много расходов и испытаний,

allfacebook.com.ua

Sitemap.xml – карта сайта для поисковиков

Sitemap.xml

Приветствую, Друзья!

Из этого видеоурока Вы узнаете, как сделать правильную карту сайта для поисковых систем Google и Яндекс на сайте под управлением 1С-Битрикс.

В этом видеоуроке я не просто покажу как сделать карту сайта – это очень просто, 4 настройки и одна кнопка, все автоматизировано, как и большинство других механизмов в Битриксе. В уроке я покажу как сделать ПРАВИЛЬНУЮ карту для поисковиков.

Что значит «правильная» карта?Это карта, в которой только те ссылки, которые мы хотим, чтобы проиндексировали поисковые машины. Нам ведь не надо показывать все ссылки, например, зачем в поиске Гугла или Яндекса наши персональные разделы пользователей или скрытые для некоторых пользователей разделы. В карте сайта должны быть только страницы, которые можно найти в поиске на сайте или на которые должны переходить люди с поисковых систем.Поэтому я в этом уроке затрону концептуальные механизмы Битрикса для создания карты сайты – мы начнем с настройки построения поискового индекса сайта и затронем тему, как происходит автоматическая индексация статического и динамического контента в Битриксе. Мы поговорим, в каком случае требуется ручная переиндексация сайта и как убрать из карты сайта ссылки на динамический контент (из инфоблоков, форумов и социальной сети).

Видеоурок имеет много технических деталей, надеюсь я смог объяснить их доступно для всех моих читателей. Если все-таки остались вопросы, то Вы можете задать их под видео в комментариях, я стараюсь на все вопросы подробно отвечать.

Вам нужна быстрая индексация магазина поисковыми машинами и возможность показывать только нужные ссылки? Тогда смотрите этот видеоурок:

Небольшой анонс продолжения этой темы в ближайших постах на моем блоге. Мы продолжим тему основ поискового продвижения своего сайта на Битриксе.

В следующем уроке Вы узнаете как созданную в этом уроке карту сайта зарегистрировать в Гугле и Яндексе, чтобы они не искали новый сайт несколько месяцев, а он попал в их поисковый индекс уже через 1-2 дня.

А вот как окончательно закрыть все нужные нам страницы от автоматической индексации поисковыми машинами мы поговорим совсем скоро, когда будем разбирать зачем нужен файл robots.txt.

На этом сегодня все! Не забываем жать на социальные кнопки слева и спрашивать свои вопросы чуть ниже в комментариях!

blog.web-shoper.ru

Что такое карта сайта и как правильно сделать sitemap xml

Правильная карта сайта ускоряет индексацию в 3,14 раз

Карта сайта (sitemap) — это html страница сайта или специальный xml файл, в котором отражены ссылки на все важные страницы сайта. Чтобы понять, что такое карта сайта, достаточно представить книжное оглавление и сразу же станет ясно, зачем нужна карта сайта. Карта сайта помогает посетителю, будь это человек или поисковый робот, быстро найти любую страницу сайта, совершая минимальное число переходов. На простых, небольших сайтах все страницы могут быть доступны через 1-2 клика от главной страницы, но что делать, если сайт большой и структура его непроста? Подобный сайт будет неудобен не только посетителям, но и неочевиден для поисковых систем.

Какие бывают карты сайта

Поисковые системы индексируют сайт постепенно, уровень за уровнем, начиная с главной страницы. Если на сайте много уровней вложенности страниц, то пока все страницы сайта проиндексируются пройдут многие месяцы. Значит, необходимо создать карту сайта, на которой будут все ссылки на все страницы сайта сразу, чтобы робот не тратил время на переходы по уровням вложенности, верно? И да и нет. Ответ зависит от того зачем делается карта и какой она будет. Давайте рассмотри, какие бывают карты сайта.

Карта сайта HTML Sitemap

Карты сайта делятся на 2 основных вида или формата: карта сайта html и карта сайта файл xml. HTML карта сайта — это страница сайта, на которой перечислены ссылки. Обычно это ссылки на самые важные разделы и страницы сайта. HTML карта сайта больше рассчитана на людей, нежели на роботов и помогает быстрее ориентироваться в основных разделах сайта. Для карты сайта в виде html-страницы существуют серьезные ограния по количеству ссылок на одной странице. Если на странице будет слишком много ссылок, далеко не все ссылки могут быть проиндексированы или вовсе страница карты сайта может быть исключена из поиска за чрезмерное количество ссылок, пусть даже внутренних ссылок.

Для того, чтобы карта сайта html правильно индексировалась и адекватно воспринималась посетителями не стоит размещать на странице более 100 ссылок. Этого более чем достаточно, чтобы разместить на странице все разделы и подразделы, которые не влезли в основное меню.

Обычно, карта сайта в формате HTML имеет древовидную структуру, где указаны развернутые разделы и подразделы. Излишне громоздкие HTML карты сайта, зачастую оформляются графическими элементами, CSS-стилями и дополняются Java-script. Однако, карта сайта html не имеет большого значения для поисковых систем.

HTML карта сайта — это не есть полноценный sitemap. Как же быть, если на сайте сотни, тысячи, десятки тысяч страниц? Для этого необходимо разместить ссылки на все страницы в карте сайта в формате xml.

Карта сайта XML Sitemap

XML карта сайта — это файл формата xml, вида sitemap.xml, который обычно находится в корне сайта. У карты сайта в формате xml есть множество преимуществ перед html картой сайта. Sitemap xml — это специальный формат карты сайта, который определяется всеми популярными поисковыми системами, например Google и Яндекс. В xml sitemap можно указать до 50.000 ссылок. Более того, в sitemap xml можно указать относительный приоритет и частоту обновления страниц.

Стоит сказать, что содержимое карты сайта является лишь рекомендацией для поискового робота. Например, если установить для страницы сайта ежегодную частоту обновления, поисковые роботы все равно будут ходить чаще. А если установить частоту обновления страницы ежечасно, это не значит, что роботы будет индексировать страницу каждый час.

Карта сайта xml имеет определенный синтаксис, давайте рассмотрим структуру xml карты сайта подрбнее.

Пример файла карты сайта sitemap.xml

Правильный sitemap.xml должен иметь кодировку UTF8. Содержимое файла карты сайта sitemap.xml выглядит следующим образом:

<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"> <url> <loc>http://mysite.ru/</loc> <lastmod>2014-09-18T18:54:13+04:00</lastmod> <changefreq>always</changefreq> <priority>1.0</priority> </url> <url> <loc>http://mysite.ru/category/</loc> <lastmod>2014-09-18T18:57:09+04:00</lastmod> <changefreq>hourly</changefreq> <priority>0.8</priority> </url> <url> <loc>http://mysite.ru/page/</loc> <lastmod>2014-09-18T18:59:37+04:00</lastmod> <changefreq>daily</changefreq> <priority>0.6</priority> </url> </urlset>

Где используются следующие обязательные теги:

<urlset> — родительский тег, в него заключаются все url-адреса;
<url> — тег, в котором указываются сведения о конкретном url-адресе;
<loc> — в данном теге указывается непосредственно url.

Далее, следуют необязательные теги:

<lastmod> — этот тег заключает в себе дату последнего изменения страницы;
<changefreq> — тег используется, чтобы указать насколько часто изменяется страница: always, hourly, daily, weekly, monthly, yearly, never;
<priority> — указывает приоритет определенной страницы, относительно других страниц сайта от 0,1 – низкий приоритет, до 1 – высокий приоритет.

Так же, в файле карты сайта в формате xml должно содержаться указание на пространство имен языка XML:

xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"

Если файл карты сайта включает более 50 тысяч ссылок или размер sitemap.xml превышает 10 мб, рекомендуется разделить карту сайта на несколько файлов. В таком случае, в карте сайта необходимо указать несколько ссылок на разные файлы карт.

<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"> <sitemap> <loc>http://mysite.ru/sitemaps/sitemap01.xml</loc> <lastmod>2014-09-18T18:54:13+04:00</lastmod> </sitemap> <sitemap> <loc>http://mysite.ru/sitemaps/sitemap02.xml</loc> <lastmod>2014-09-18T18:54:13+04:00</lastmod> </sitemap> </sitemapindex>

Здесь используются уже знакомые нам теги <loc> и <lastmod>, а так же обязательные теги:

<sitemapindex> — родительский тег, в который заключаются адреса всех карт сайта;
<sitemap> — тег, в котором заключается параметры для каждой карты сайта.

Пример файла карты сайта sitemap.txt

Еще одним способом оформления карты сайт в виде файла может быть карта сайта в формате txt:

1. http://mysite.ru/ 2. http://mysite.ru/page/ 3. http://mysite.ru/page1/

Все просто. В файле sitemap.txt построчно перечисляются все необходимые ссылки. Карта сайта в формате txt — это «вариант для ленивых». Здесь работает аналогичное sitemap xml ограничение в 50.000 ссылок. Однако, TXT карта сайта лишена возможностей указания даты последнего изменения и приоритета страницы.

Как создать карту сайта

Создание карты сайта важный процесс, в котором необходимо четко указать, какие страницы сайта нужно индексировать и как лучше их индексировать. В зависимости от того о каком типе карты сайта идет речь, используются различные способы создания карты сайта. Как создать html карту сайта обсуждать отдельно смысла нет. Рассмотрим как сделать карту карта в формате xml файла. Существует несколько основных способов создания карты сайта, но все их объединяет то, где находится карта сайта и как файл sitemap определяется поисковыми системами.

Как уже было написано выше — файл карты сайта размещается в корне сайта. Поисковые системы способны самостоятельно обнаружить файл карты сайта. Но существует несколько способов указания прямой ссылки на файл(ы) карты сайта(ов) для более скорого обнаружения поисковыми системами. Самый простой способ указать место расположения файла карты сайта — это непосредственное указание ссылки или нескольких ссылок на файлы карт сайта в инструментах для вебмастеров от Yandex и Google. Там же можно проверить карту сайта, провести анализ карты сайта на корректность, соответствие того, какие страницы из карты сайта найдены поисковой системой и сколько из них находится в индексации.

Второй способ указать поисковым системам на расположение файла карты сайта — это директива Sitemap файла robots.txt.

Указание ссылки на карту сайта в robots.txt:

Sitemap: http://mysite.ru/sitemap.xml

В robots.txt можно указать несколько файлов sitemap, после чего, он автоматически будут добавлены в инструменты для вебмастеров. Как найти карту сайта мы рассмотрели, теперь перейдем к тому, как создать карту сайта.

Основные способы создания карты сайта

Генерация карты сайта силами системы управления сайта, если CMS имеет подобную встроенную возможность.
Скачать карту сайта со стороннего онлайн сервиса. Существует множество online генераторов карт сайта с различным возможностями и ограничениями. Напрмер xml-sitemaps.com обладает возможностью настройки параметров карты сайта, но имеет ограничение по количеству ссылок в файле sitemap.xml в 500 штук.
Скачать программу-генератор карты сайта. Подобные программы генераторы обычно платные, но при их помощи можно можно регулярно генерить sitemap xml для одного или нескольких сайтов. Вот пара примеров подобных программ-генераторов: SiteMap XML Dynamic SiteMap Generator, WonderWebWare SiteMap Generatior.
Автоматическое создание sitemap карты сайта в Joomla (Джумла), WordPress (Вордпресс), Bitrix (Битрикс).
Создание карты сайта вручную.

Карта сайта — один из важнейших инструментов SEO оптимизации сайта. Не важно, как будет создана карта сайта. Важно — какие ссылки будут перечислены в карте сайта и как часто она будет обновляться. Иногда, в карту сайта выгружается все подряд и даже те ссылки, которые запрещены в robots.txt или неканонические ссылки. А обновление карты сайта происходит раз в месяц или реже. Подобное отношение к карте сайта может не просто сделать ее бесполезной, но того хуже — запутать поискового робота, что негативно отразится на индексации и позициях сайта в поиске.

Создайте карту сайта для своего ресурса. Но будте внимательны и хорошо подумайте, что выгружать в sitemap, а что нет.

convertmonster.ru

Генерация sitemap.xml для сайта на 1С-Битрикс

С ребятами работаем уже 2 года. Отличная команда, отличный подбор программистов. Практически в любое время суток есть связь с руководителями. Критичные вопросы можно решить даже в 2 часа ночи (для нас как интернет-проекта это очень важно).

Время, когда начинали сотрудничество с Атлантом сейчас вспоминается с легкой ухмылкой. А тогда - все было очень плохо. Решили кардинально изменить сайт — старый "снести" и перейти на 1С-Битрикс.

Разработку сайта поручили фрилансеру. Он все сделал, сверстал сайт. Но прямо перед запуском у него случились какие-то трудности, 2 недели мы без связи. О нем ничего плохого сказать не могу, но - факт на лицо. Мы остались с недоработанной копией сайта (более 30 критичных доработок).

Как быть в такой ситуации - понятия не имели. Стали искать среди Золотых партнеров Битрикса, которые могли бы нам помочь в сложившейся ситуации. Написали порядка сотни запросов. Ответ от Атланта выделялся среди всех! Стоимость за работы оказалась одной из самых низких. Уверенность придавала пошаговая инструкция, что ребята собираются сделать с сайтом.

В итоге, запустили сайт, работаем с ними и ни разу не пожалели! В первые 6 месяцев после начала сотрудничества - у нас рост продаж в 2 раза. Ставим любые, даже самые сложные задачи. Все выполняется. Удобно, что все в одном месте: работы по сайту, 1С, хостинг, seo, дизайн и т.д. Рекомендуем!

Андрей Рудый ( Директор — LEDPremium )

atlant2010.ru