Переход сайта на https. Переезд на https битрикс


рекомендации Google и Яндекс для сайта

25 Октября 2016 | 10192 | 1

Все больше и больше растет ажиотаж вокруг темы переезда сайта на https. Чем же это обусловлено?

В июле 2018 года абсолютно все http страницы будут отмечены как «не защищенные». Но уже сегодня можно посмотреть, как будет выглядеть http сайт для посетителей, просто откройте его в режиме инкогнито (Ctrl+Shift+N).

Переход сайта на https - читайте в разделе Материалы на seo.artox-media.ru - Изображение №1

HTTPS (от англ. HyperText Transfer Protocol Secure) - расширение http-протокола, поддерживающее шифрование данных и обеспечивающий их защиту от прослушивания и изменений.

Зачем он нужен:

В августе 2014 Google заявляет о том, безопасность пользователей является главным приоритетом для компании, и поэтому все сайты, обеспечивающие надежную передачу данных (другими словами, использующие протокол https), могут рассчитывать на дополнительный бонус при ранжировании. В заявлении было сказано, что тестовое нововведение затронет порядка 1% поисковых запросов и в будущем планируется увеличение этого процента. Основная цель – дать время вебмастерам и простимулировать их к переходу на безопасный протокол.

Стоит заметить, что пока заметного преимущества при ранжировании наличие защищенного протокола не дает. Однако, Google использует более 200 факторов ранжирования и мы точно знаем, что наличие защищенного протокола – один из них.

В декабре 2015 года Google объявляет, что с этого момента по умолчанию будет индексироваться HTTPS-версия страницы, если сайт доступен для индексации по обоим протоколам: http и https.

В январе 2016 года Google сообщает, что дает преимущество в ранжировании даже тем HTTPS-сайтам, которые неверно реализовали переход на безопасный протокол.

И, самая свежая на данный момент публикация от 8.09.2016 на официальном блоге Google о том, что с января 2017 года браузер Chrome 56 начнет помечать все HTTP-сайты, которые передают личные данные пользователей, как сомнительные (небезопасные). Пока что под это нововведение попадают страницы, где требуется ввод пароля или данных банковской карты, но со временем все сайты, использующие протокол http, будут помечаться как небезопасные.

Переход сайта на https - читайте в разделе Материалы на seo.artox-media.ru - Изображение №2

27 декабря 2016 Google на своей странице в Google+ еще раз напомнил, что с конца января 2017 года с версии Chrome 56, браузер Chrome начнет помечать HTTP-сайты, где требуется ввод пароля или данных кредитной карты, как небезопасные.

Переход сайта на https - читайте в разделе Материалы на seo.artox-media.ru - Изображение №3

Переход сайта на https - читайте в разделе Материалы на seo.artox-media.ru - Изображение №4

В это же время Google начал рассылать в Google Search Console предупреждения для сайтов, на которых есть поля ввода для данных банковских карт и паролей на незащищенных страницах. Примеры таких страниц также прилагаются. Для русскоязычных сайтов уведомления приходят тоже на английском языке.

Переход сайта на https - читайте в разделе Материалы на seo.artox-media.ru - Изображение №5

Уже сейчас вы можете протестировать свой сайт, установив версию Google Chrome для разработчиков, ту самую 56 версию. Скачать ее можно здесь: https://www.google.ru/chrome/browser/canary.html.

После этого откройте в этом браузере свой сайт, нажмите F12, чтобы открыть инструменты разработчика, после чего перейдите на вкладку Console. Там вы увидите, будет ли для вашего сайта выводиться предупреждение в браузере с конца января.

Переход сайта на https - читайте в разделе Материалы на seo.artox-media.ru - Изображение №6

Что касается поисковой системы Яндекс, здесь пока нет особой шумихи - поисковая система лучших позиций не обещает, однако компания показывает на собственном примере надежность своих сервисов, переводя их на https-протокол. Однако, мы считаем, что появление такого фактора ранжирования в Яндекс – лишь вопрос времени.

Что делать сейчас?

Так кому же стоит уже перевести сайт на https, волноваться и думать о риске потери трафика и позиций по запросам?

Критически важно переходить на новый протокол тем сайтам, где есть какая-либо информация, которую могут перехватить (платежные данные, данные доступа к личному аккаунту. В первую очередь, это банки, интернет-магазины, тикет-офисы и онлайн-сервисы – для них переход в списке обязательных рекомендаций.

Однако и обычные сайты должны двигаться в сторону безопасного шифрования, поэтому мы подготовили подробную инструкцию о том, как правильно перевести сайт на https.

Инструкция по переводу сайта на https

Перевод сайта на защищенный протокол в перспективе придется осуществить всем сайтам. К этому будут подталкивать как поисковые системы, так и браузеры. Поэтому, пока вы разбираетесь в теме и выбираете SSL-сертификат, пора подготовить сайт к переходу. Ниже вы найдете несколько полезных блоков информации:

  1. Виды сертификатов (краткая информация)
  2. Как подготовить сайт к переходу
  3. Алгоритм перехода на https, который позволит минимизировать потери поискового трафика и избежать ряда «подводных камней»

Виды SSL-сертификатов

Кратко рассмотрим основные виды сертификатов, не вдаваясь в технические подробности. Тип сертификата зависит от типа проверки.

С проверкой домена (DV или Domain Validated). Переход сайта на https - читайте в разделе Материалы на seo.artox-media.ru - Изображение №7

Доступен физическим лицам и компаниям. Защищает информацию, но не дает гарантии, что владельцу сайта можно доверять. Требуется подтверждение по электронной почте, находящейся на домене либо на которую зарегистрирован домен. Стоит дешево (либо может выдаваться бесплатно), выдается за несколько минут.

Кому подойдет: сайту-визитке, личному блогу.

С проверкой организации (Organization Validated или OV). Переход сайта на https - читайте в разделе Материалы на seo.artox-media.ru - Изображение №8Такой сертификат доступен только юридическим лицам, коммерческим, некоммерческим или государственным организациям. Проводится проверка документов и существования ИП или юридического лица, а также принадлежность домена. Стоит дороже, выдача занимает 1-3 дня.

Такой сертификат подойдет интернет-магазинам, сайтам услуг, порталам.

С расширенной проверкой организации (Extended Validation SSL (EV SSL)).Переход сайта на https - читайте в разделе Материалы на seo.artox-media.ru - Изображение №9

Дает заметную зеленую строку с названием организации. Таким сайтам можно доверять больше, так как компания точно существует (проводится тщательная проверка) и домен точно принадлежит ей. Проверка занимает 3-9 дней (если нет заминок с документами). Сертификат самый дорогой.

Кто использует: банки, платежные системы, крупные сервисы.

Дополнительные особенности сертификатов, о которых стоит знать:

Вот основные поставщики сертификатов:

Переход сайта на https - читайте в разделе Материалы на seo.artox-media.ru - Изображение №10

Как правило, купить сертификат можно сроком 1-3 года. Проще всего будет обратиться за сертификатом к хостеру (либо в центр сертификации). Каждый хостер, идущий в ногу со временем, продает сертификаты и может помочь с процессом их установки.

Решить вопросы с переходом на https на разных этапах могут следующие люди и организации:

ВОПРОС К КОМУ ОБРАЩАТЬСЯ
Какой сертификат выбрать? Хостер/центр сертификации, технический специалист/программист
Покупка сертификата Хостер (если он продает сертификаты), центр сертификации
Установка сертификата
Хостер, технический специалист/программист
Доработка сайта Программист
Контроль выполнения рекомендация, необходимых для минимизации риска потери трафика SEO-специалист, интернет-маркетолог

Важно! Обязательно следите за сроками окончания сертификата. Его необходимо будет продлевать, как домен и хостинг.

Как подготовить сайт к переходу на https

Описание алгоритма перехода на защищенный протокол содержит достаточно много технических моментов и специальных терминов. Если вы владелец сайта, то передайте ссылку на эту инструкцию своему техническому специалисту или программисту.

Пока вы решаете вопросы с сертификатом, сайт уже можно начинать готовить к переходу на https. Даже если это будет через полгода-год. Дело в том, что нужно убедиться, что на сайте все ссылки ведут на страницы, доступные по защищенному протоколу либо имеют относительный протокол.

Все ссылки на вашем сайте должны иметь следующий вид:

Пример ссылки с относительным протоколом:

Переход сайта на https - читайте в разделе Материалы на seo.artox-media.ru - Изображение №11

Важно! Необходимо исправить все ссылки, в том числе на изображения, файлы, видео, внешние скрипты (виджеты, консультанты и прочие внешние сервисы). Чтобы не делать это вручную на многих страницах, можно попросить программиста исправить протокол http:// на относительный в базе данных сразу для всех ссылок.

Далее мы подразумеваем, что вы уже приобрели сертификат и описываем последовательность действий, необходимую для корректного перехода сайта.

Алгоритм перехода на https:

  1. Убедитесь, что SSL-сертификат настроен корректно. Сделать подробный анализ конфигурации SSL можно с помощью этого сервиса:

  2. Вот так будет выглядеть результат, если все хорошо: Переход сайта на https - читайте в разделе Материалы на seo.artox-media.ru - Изображение №12

    и так, если есть проблема: Переход сайта на https - читайте в разделе Материалы на seo.artox-media.ru - Изображение №13

    В данном случае есть проблемы с настройкой сертификата и сайт не открывается в браузере Firefox.

    Обязательно протестируйте настройку SSL и проверьте как отображается сайт в разных браузерах, в том числе на мобильных устройствах: отдельно проверьте сайт с iPhone и Android.

    Переход сайта на https - читайте в разделе Материалы на seo.artox-media.ru - Изображение №14

    Если есть критичные проблемы, обратитесь к техническим специалистам, которые настраивали вам сертификат.

  3. Создаем версию сайта с https – она должна быть доступна и работать без ошибок. При этом версия с http также должна быть доступна. Файл robots.txt должен быть одинаков для обеих версий. Составить файл может SEO-специалист.
  4. Важно! Ранее в инструкции предполагалось использование двух robots.txt и временное закрытие https-версии от Google на время переклейки в Яндекс. Сейчас это не требуется, мы протестировали вариант без закрытия от Google и обновили инструкцию. Google при доступности обеих версий по умолчанию начинает показывать https-версию в выдаче, в Яндекс – после переклейки.

    В robots должна содержаться строчка:

    Host: https://site.ru/

    Эта строчка означает, что главным зеркалом является https-версия сайта.

    Пример robots.txt (обратите внимание (!), что содержимое файла у вас будет свое, это пример для иллюстрации принципа переклейки):

    User-agent: * Disallow: /*? # Тут ваши текущие директивы Host: https://site.ru/ Sitemap: https://site.ru/sitemap.xml

  5. Также обязательно проверяем для https-версии:

Для https-версии ссылки в них должны быть доступны по https, а не http.

  • Добавляем сайт в Вебмастер Яндекса обе версии сайта: http и https. Указываем в Вебмастере Яндекса в разделе «Настройка индексирования – Переезд сайта» предпочтительный протокол.
  • Переход сайта на https - читайте в разделе Материалы на seo.artox-media.ru - Изображение №15

    Если домен https был признан зеркалом до переклейки

    Если домены http и https были признаны зеркалами ранее (а именно https-версия была признана неглавным зеркалом – такое бывает, но редко), то на данном этапе необходимо сначала расклеить зеркала. Обычно, если https-версия была ранее поклеена на http-версию, это выглядит вот так в Вебмастере Яндекса:

    Переход сайта на https - читайте в разделе Материалы на seo.artox-media.ru - Изображение №16

    Расклеиваем зеркала, а после расклейки указываем главным зеркалом https-версию. Для этого в Вебмастере заходим в раздел «Переезд сайта» для https-версии и под предложением отклеить сайт нажимаем «Применить».

    Переход сайта на https - читайте в разделе Материалы на seo.artox-media.ru - Изображение №17

    После этого увидите следующее сообщение:

    Переход сайта на https - читайте в разделе Материалы на seo.artox-media.ru - Изображение №18

    https://yandex.ru/support/webmaster-troubleshooting/mirrors/change-protocol.xml

    Переход сайта на https - читайте в разделе Материалы на seo.artox-media.ru - Изображение №19

    Стрелкой указана ссылка на этой странице, по которой можно написать в техподдержку Яндекс при наличии проблем.

    Яндекс подтверждает, что в случае, когда https-версия является неглавным зеркалом, это верный порядок действий.

    Переход сайта на https - читайте в разделе Материалы на seo.artox-media.ru - Изображение №20
  • Добавляем сайт в Google Search Console с протоколом https и подтверждаем права. Google понимает, что http и https это разные протоколы одного и того же сайта. Если Google обнаружит работающий протокол https, то он по мере переиндексации контента будет заменять http на https даже без перенаправления и добавления https-версии в Google Search Console.

    https://webmasters.googleblog.com/2015/12/indexing-https-pages-by-default.html

  • При переходе на https-версию в Google обязательно добавляем файл Disavow для канонической версии сайта (источник), если он был составлен ранее.
  • Ждем склейки в Яндексе. Это произойдет, когда версии страниц сайта с https зайдут в индекс, а версии страниц сайта с http выпадут из индекса. Переклейка начинается примерно через 2-3 недели. Повлиять на скорость переклейки мы, к сожалению, никак не можем, это - автоматический процесс.
  • После начала переклейки вы увидите в Вебмастере Яндекса следующее уведомление в разделе «Уведомления»:

    Переход сайта на https - читайте в разделе Материалы на seo.artox-media.ru - Изображение №21

    А также увидите, что https-версия стала отбражаться в Яндекс.Вебмастере как основная:

    Переход сайта на https - читайте в разделе Материалы на seo.artox-media.ru - Изображение №22

    Неглавное зеркало начнет выпадать из индекса Яндекса

    Переход сайта на https - читайте в разделе Материалы на seo.artox-media.ru - Изображение №23

    А главное зеркало начнет попадать в индекс Яндекса: Переход сайта на https - читайте в разделе Материалы на seo.artox-media.ru - Изображение №24

    Моментально у большого сайта все страницы не переиндексируются, поэтому рекомендуем подождать, пока 90-100% страниц сайта переиндексируются в Яндекс, после чего настроить 301 редирект.

    Важно! При переклейке сайта на другое зеркало обнуляется ТИЦ. Он вернется после следующего обновления ТИЦ, которое происходит примерно раз в месяц. (Источник). Не стоит волноваться: никаких последствий для сайта это не имеет, ТИЦ не учитывается при ранжировании сайта в поиске Яндекса.

    Цитата справки Яндекса: «тИЦ как средство определения авторитетности ресурсов призван обеспечить релевантность расположения ресурсов в рубриках каталога Яндекса.» (Источник)

    Переход сайта на https - читайте в разделе Материалы на seo.artox-media.ru - Изображение №25
  • После того как сайты склеились, настраиваем постраничный 301 редирект со страниц сайта с http на страницы с https (кроме файла robots.txt). Делать это до того, как сайты будут признаны зеркалами, нежелательно, поскольку в этом случае страницы с редиректами будут исключаться из поиска согласно правилам Яндекса по обработке перенаправлений. На время склейки зеркал необходимо оставить сайт доступным для робота по обоим адресам.
  • Для перенаправления c http:// на https:// в .htaccess добавляем (может работать не во всех случаях, тогда обращаемся к хостеру или программисту):

    RewriteCond %{SERVER_PORT} !^443$ RewriteRule ^(.*)$ https://site.ru/$1 [R=301,L]

    Альтернативный вариант:

    RewriteEngine on RewriteCond %{ENV:HTTPS} !on RewriteRule (.*) https://%{HTTP_HOST}%{REQUEST_URI} [NC,R=301,L]

  • После переклейки необходимо убедиться, что в Яндекс присвоен корректный регион. Дело в том, что на текущий момент сайту может быть присвоено несколько регионов через Яндекс.Справочник, но в Справочнике пока еще нельзя указать ссылку на сайт с протоколом https. Соответственно, могут быть проблемы с присвоением регионов, если это сделано через Яндекс.Справочник. В таком случае нужно обязательно писать в техподдержку Яндекса.
  • Вот подтверждение от службы поддержки Яндекса. Надеемся, скоро это действие перестанет быть необходимым. Переход сайта на https - читайте в разделе Материалы на seo.artox-media.ru - Изображение №26

    Счетчики шеров и лайков

    Еще один важный момент для сайтов, на которых используются счетчики «лайков» - эти данные, к сожалению, будут потеряны. Если до перехода у вас были такие цифры по шерам вашей статьи:

    Переход сайта на https - читайте в разделе Материалы на seo.artox-media.ru - Изображение №27

    то после перехода счетчики будут выглядеть вот так:

    Переход сайта на https - читайте в разделе Материалы на seo.artox-media.ru - Изображение №28

    Такая проблема возникает из-за того, что подобные счетчики лайков отображают статистику для конкретного адреса. Так как у страницы меняется протокол, адрес страницы меняется и у новой страницы нет подобной статистики.

    Facebook уже решил эту проблему, будем надеяться, что остальные соцсети также подтянутся.

    Резюме

    Описанный алгоритм перехода на https позволит минимизировать потери трафика. Вместе с тем служба поддержки Яндекса отвечает, что гарантировать сохранение позиций сайта при склейке его зеркал они не могут.

    Переход сайта на https - читайте в разделе Материалы на seo.artox-media.ru - Изображение №29

    На время переклейки сайта, как правило, временные просадки позиций неизбежны и в Яндекс, и в Гугл. Алгоритм действий, указанный выше, подтвержден Яндексом.

    Переход сайта на https - читайте в разделе Материалы на seo.artox-media.ru - Изображение №30

    Проблема с реферальным трафиком

    Важно! Если пользователь осуществляет переход с сайта на HTTPS на сайт без HTTPS (например, с вашего сайта, на сайт компании, купившей на вашем сайте баннер), то по умолчанию HTTP заголовок referer не передается, если не указано иное правило. Поведение логичное, ведь вы покидаете защищенную зону и отправляетесь в зону риска.

    Это означает, что ваш сайт как источник трафика Google Analytics или Яндекс.Метрика определить не сможет и отнесет весь этот трафик к прямому. Поэтому, если вы продаете на сайте баннеры или размещаете информацию о компаниях и их сайтах и вашим клиентам важно отслеживать трафик с вашего сайта.

    Чтобы с этим не было проблем, на HTTPS-сайте необходимо добавить на страницах до закрывающего тега </head> мета-тег:

    <meta name="referrer" content="[директива]">,

    где [директива] — одна из тактик поведения из следующего списка: none — не передавать; origin — передавать протокол и домен; none-when-downgrade — не передавать при переходе с HTTPS-сайта на HTTP-сайт; unsafe-url — всегда передавать;

    Оптимальным вариантом будет следующий: <meta name="referrer" content="origin">

    Проверка смешанного содержимого

    После перехода на https, тем не менее, в браузере может не появиться значок защищенного соединения, а отображаться один из следующих значков в Google Chrome Переход сайта на https - читайте в разделе Материалы на seo.artox-media.ru - Изображение №31 А в сведениях о подключении может быть одно из следующих изображений Переход сайта на https - читайте в разделе Материалы на seo.artox-media.ru - Изображение №32Переход сайта на https - читайте в разделе Материалы на seo.artox-media.ru - Изображение №33

    Подробнее о статусах в справке Google.

    Это значит, что на странице загружается смешанный контент и небезопасное содержимое. Например, какой-то скрипт или изображение все еще загружаются по незащищенному протоколу http. Необходимо, чтобы все внутренние и внешние ссылки имели протокол https:// либо относительный //. Это же касается и внешних ссылок.

    Справка Google для технических специалистов.

    Чтобы найти смешанный контент, воспользуйтесь инструментами разработчика, которые вызываются в Google Chrome (Ctrl+Shift+I). Воспользуйтесь вкладкой Security, где будут ссылки на просмотр загрузки незащищенного контента в консоли. Для просмотра полной информации в консоли потребуется перезагрузка страницы.

    Переход сайта на https - читайте в разделе Материалы на seo.artox-media.ru - Изображение №34

    На примере мы видим, что на странице загружается изображение с другого сайта по незащищенному протоколу http. Такую проверку необходимо провести для всех страниц. Это можно сделать SEO-специалист, например, с помощью программы ScreamingFrog SEO Spider. Либо вы можете самостоятельно походить по страницам сайта и посмотреть, везде ли отображается значок защищенного соединения. Примеры страниц, где соединение не защищено, нужно отправить техническому специалисту, который переводит сайт на защищенный протокол.

    Анализ ссылочной массы после переклейки

    Обратите внимание, что при анализе ссылочной массы вам будет необходимо выгружать ссылки из Вебмастера Яндекса для каждого зеркала, так как в Вебмастере выгружаются ссылки только для того зеркала, для которого вы их выгружаете. Например, для данного сайта нужно будет выгрузить ссылки для трех зеркал, чтобы увидеть всю ссылочную массу сайта:

    Переход сайта на https - читайте в разделе Материалы на seo.artox-media.ru - Изображение №35
    Источники

    Ниже приведены источники информации касательно защищенного протокола от поисковых систем и полезные сервисы – настоятельно рекомендуется к ознакомлению:

    Защитите свой сайт с помощью HTTPS (Справка - Вебмастер Google) - https://support.google.com/webmasters/answer/6073543?hl=ru Google опубликовал FAQ по переходу на https для новостных сайтов - https://www.searchengines.ru/google-opublikoval-faq.html

    Переезд сайта на новый домен (Справка Яндекс.Вебмастер) - https://help.yandex.ru/webmaster/yandex-indexing/moving-site.xml Индексирование картинок (Советы веб-мастеру от Яндекс) - http://help.yandex.ru/images/indexing.xml Деликатный переезд (или рекомендации Яндекса по переезду на HTTPS) - https://yandex.ru/blog/platon/2778

    Сделать подробный анализ конфигурации SSL можно с помощью этого сервиса: https://www.ssllabs.com/ssltest/analyze.html

    Бесплатные SSL-сертификаты - https://letsencrypt.org/

    Успешного вам переезда!

    Автор: Антон Шабан, Руководитель группы SEO-специалистов ARTOX media

    seo.artox-media.ru

    Переход на https без потери позиций

    Этот метод намного дольше, чем если сразу перейти с проставлением 301 редиректа.

    Подготовка сайта. Или что необходимо сделать до переезда на https

    1. Установите SSL-сертификат. Сейчас можно установить бесплатный сертификат Let's Encrypt - в том же Таймвебе это делается за 2-3 минуты. Раньше, когда я у них заказывал платный сертификат то, возникали проблемы с сервером и их установкой - теперь же всё автоматизировали.
    2. Установите относительные ссылки на всем сайте. Если не получается исправить вручную - используйте функции замены данных в PhpMyAdmin (базе данных). Также не забудьте, что есть статичные файлы шаблонов или плагины в CMS - где может быть html-код с абсолютными ссылками - везде всё меняйте на относительные. Нюанс: если ссылки предназначены для открытия во внешней среде (например, из письма), то рекомендуется прописать уже с нужным протоколом.
    3. Важно также не забыть про тег base. Задать базовую ссылку относительно документа.
    4. Если хотите передавать информацию по переходам на сайты с незащищенным протоколом необходимо будет настроить мета-тег meta name="referrer" со значением отличным от content="no-referrer-when-dowowngrade" (значение по умолчанию).
    5. Необходимо все внешние подгружаемые скрипты, счетчики, другие ресурсы (картинки, видео, стили и т.п.) со сторонних сайтов при возможности перевести на загрузку с протокола https.
    6. Проверьте что сайт доступен как по https, так и по http. Если всё в порядке - переходим к следующим шагам.
    7. Необходимо настроить канонические ссылки (canonical) с указанием оригинала - проставляем со страниц http на страницы https, на страницах с https на самих себя - https.Получается: 

      http://site.ru => https://site.ru https://site.ru => https://site.ru 

    8. Генерируем карту сайта с путями на https. Главное, если будет производится загрузка карты сайта с http://site.ru/sitemap.xml - то пути в такой карте должны указывать на https версию.
    9. Для тех, у кого есть YML файл с выгрузкой товаров - также следует обновить с указанием https.
    10. Необходимо добавить карту сайта (точнее все варианты) в robots.txt и конечно же директиву hostПример:Host: https://site.ruSitemap: https://site.ru/sitemap.xmlSitemap: https://site.ru/sitemap1.xmlSitemap: https://site.ru/sitemap2.xml
    11. Иногда требуется обновить кеш сайта.
    12. Просканировать сайт на предмет ошибок Xenu или Netpeak Spider - в помощь!
    В данный момент у нас должно получится следующее:

    Переезд сайта в панелях вебмастеров (до 301 редиректа)

    Об некоторых ранее оговоренных особенностях также можно почитать в статье о переезде сайта на другой домен.

    Сообщаем поисковым роботам о изменении главного зеркала, есть два пути:

    1. Отправить запрос на обновление файла robots.txt с новым значением директивы host
    2. Указать в поисковых системах главное зеркало с https

    Эти методы по крайней мере не требуют создания редиректов и позволяют плавно сменить зеркало.

    Обновляем robots.txt в панелях вебмастеров:

    Яндекс

    "Панель Вебмастера" => "Инструменты" => "Анализ robots.txt" => Кнопка со стрелочкой "Загрузить и анализировать robots.txt с этого сайта".

    Загрузка и обновление файла robots.txt в Вебмастере Яндекс

    Необходимо добавить обе версии сайта и отправить в них на обновление robots.txt

    Google

    "Панель инструментов" => "Сканирование" => "Инструмент проверки файла robots.txt" => Кнопка "Отправить" => "Отправьте в Google запрос на обновление"  + Кнопка "Отправить".

    Проверка и загрузка файла robots.txt в Вебмастере Google

    Необходимо добавить все версии сайта с www и без www, с http и с https - получается 4 версии сайта. На всех необходимо обновить robots.txt

    На счет директивы host для Google у меня двоякое мнение, с одной стороны в руководстве о нем ничего не сказано, с другой более года уже перестал ругаться на данную директиву - значит начал поддерживать. Однако после этого склейка в Гугле происходит быстрее. 

    Mail

    "Кабинет вебмастера" => "Проверка Robots.txt" => Кнопка "Загрузить robots.txt с сайта", затем кнопка "Скачать" => Кнопка "Отправить" (Отправьте запрос на обновление).

    Проверка файла robots.txt - Кабинет вебмастера Mail

    В мейле только одна версия.

    Bing

    В Бинге нет средств для обновления robots.txt

    Изменяем зеркало в панелях вебмастеров:

    Яндекс

    "Панель Вебмастера" => "Индексирование" => "Переезд сайта" => Чекбокс "Добавить HTTPS" => Вы увидите полный путь к сайту (он должен соответствовать директиве Host) => Кнопка "Сохранить".

    Осуществляем переезд сайта на протокол https

    Должна появиться надпись: "В ближайшее время в результатах поиска вместо домена site.ru появится https://site.ru".

    Google

    "Панель инструментов" => Шестеренка => "Настройки сайта" => Основной домен => выбрать "Отображать URL-адреса как ***site.ru" => Кнопка "Сохранить".

    Настройка сайта с www или без www в Google Вебмастере

    У Google можно только указать главное зеркало с www или без www - нужно проделать для обоих версий (для http и https). Желательно на этот случай проставить редирект на нужную версию сайта с/без www.

    Mail

    "Кабинет вебмастера" => "Настройки" => Настройки URL => Чекбокс "Показывать «https»" => Кнопка "Сохранить".

    Настройка протокола https в вебмастере Mail.ru

    В мейле получается намного проще весь этот процесс.

    Bing

    "Панель мониторинга" => "Средства диагностики" => "Перемещение сайта" => Выбираем радиокнопкой пункт "Я перемещаю URL-адреса из одного места на текущем сайте в другое (site.ru)." => Выбираем область "Домен" => Вводим конечный url домена с https (в том же формате как в "Исходном") => Кнопка "Отправить".

    Перемещение сайта - Средства веб-мастера Bing

    После нажатия получится следующее:

    Переход на https в вебмастере Bing

    У Бинга своеобразный переход. После отправки заявки - никаких изменений внести будет невозможно в течении 90 дней.

    Добавляем sitemap в панелях вебмастеров:

    Яндекс

    "Панель Вебмастера" => "Индексирование" => "Файлы Sitemap" => Добавить файл Sitemap (желательно перечислить весь список sitemap из robots.txt) => Кнопка "Добавить".

    Добавление и обновление файлов Sitemap в Вебмастер Яндекс

    У Яндекса появилась вожможность отправить на переобход sitemap в списке (до 10 переобходов):

    "Нажмите значок справа от URL источника, чтобы отправить файл Sitemap на переобход, не дожидаясь автоматической загрузки. Робот прочтет файл в течение 3 дней. Использовать функцию можно до 10 раз в месяц для одного хоста."

    Таким способом можно ускорить индексацию, важно указывать уже с протоколом https.

    Google

    "Панель инструментов" => "Сканирование" => "Файлы Sitemap" => Кнопка "Добавление/Проверка файла Sitemap" => Добавляем пути к картам сайта  + Кнопка "Отправить".

    Добавление файлов Sitemap в Search Console

    Важно указать во всех 4 версиях сайта (в панелях вебмастеров Гугла) ссылку на карту сайта, где будут указаны ссылки с протоколом https.

    Mail

    "Кабинет вебмастера" => Мета информация => "Sitemap" => Кнопка "Добавить".

    Настройка карты сайта в вебмастере Mail.ru

    Указываем все версии карты сайта - ссылки относительные корня.

    Bing

    "Панель мониторинга" => "Настройка сайта" => "Sitemaps" =>  Вводим абсолютную ссылку с протоколом https на карту сайта => Кнопка "Отправить".

    Добавление и обновление Sitemaps в веб-мастере Bing

    Ускоряем переиндексацию сайта через панели вебмастеров:

    Яндекс

    "Панель Вебмастера" => "Индексирование" => "Переобход страниц" => Добавить список URL (Дневной лимит — 130 адресов на сайт.) => Кнопка "Отправить".

    22.11.2017 было замечено что увеличили лимит с 20 до 130 адресов!

    Отправка страниц на переиндексацию в Яндекс

    Google

    "Панель инструментов" => "Сканирование" => "Просмотреть как Googlebot" => выбираем "ПК" (по умолчанию выбрано) => Кнопка "Получить и отобразить" => тоже самое проделываем и с мобильной версией: => выбираем "Mobile: Smartphone" => Кнопка "Получить и отобразить" => Дожидаемся обработки запроса, пока не появится кнопка "Запросить индексирование" => Кнопка "Запросить индексирование"  =>  выбираем радиокнопку с надписью "Сканировать этот URL и прямые ссылки" и проходим капчу - лучше всего делать начиная с главной страницы, чтобы робот прошел по всем ссылкам сайта => Кнопка "Отправить".

    Отправка страниц на переобход в Google

    Необходимо учесть объем квот у Гугла на сканирование сайта:

    Сканировать только этот URL - Месячная квота: 500.

    Сканировать этот URL и прямые ссылки - Месячная квота: 10.

    Так что рекомендую использовать данный сервис для всех версий сайта, особенно при глобальных изменениях структуры и дизайна.

    Mail

    "Кабинет вебмастера" => Сканирование => "Переиндексация" => Кнопка "Переиндексация".

    Если использовать чаще чем раз в неделю, будет выведена следующая информация:

    Невозможно поставить домен на переобкачку ранее чем через 7 дней от предыдущей постановки.

    Bing

    "Панель мониторинга" => "Настройка сайта" => "Отправить URL-адреса" =>  Вводим абсолютную ссылку с протоколом https по одной на строку => Кнопка "Отправить".

    Можно отправить еще: 50 в этом месяце 10 сегодня - именно такие лимиты существуют у Бинга.

    Другие методы ускорения обхода сайта:

    Директива Crawl-delay в robots.txt

    Частота обращений между обходом страниц (так называемая пауза, задержка) - может снизить нагрузку на сайт. Яндекс и Мейл не ругаются на данную директиву, Google выдает предупреждение.

    Bing

    "Панель мониторинга" => "Настройка сайта" => "Управление обходом" =>  Делаем максимальный уровень обхода по верхней планке (Быстрее) => Кнопка "Сохранить".

    Как показала практика, данная поисковая система самая тормознутая - нагрузку даже при такой настройке дает минимальную.

    Подитог.

    После того как мы всё это проделали вероятность склейки http и https версии и установка последней главным зеркалом увеличивается в несколько раз. От 1 недели до 3 недель (реже до 5-6 недель) - рассчитывайте на такой срок. Многое зависит от объема сайта.

    Переезд сайта на https с 301 редиректом

    Исключаем robots.txt из редиректа

    <IfModule mod_rewrite.c>RewriteEngine OnRewriteBase /#пишем в самом начале:RewriteCond %{REQUEST_FILENAME} robots.txt$ [NC]RewriteRule ^([^/]+) $1 [L]

    Необходимо исключить с помощью данной настройки обращение поисковых роботов к файлу robots.txt для того чтобы они смогли считать директиву Host без всяких редиректов.

    301 редирект на https версию

    #редирект на https:RewriteCond %{HTTP:X-Forwarded-Proto} !httpsRewriteRule ^ https://%{HTTP_HOST}%{REQUEST_URI} [L,R=301,NE]

    #если несработает, то этот:RewriteCond %{HTTPS} !=onRewriteRule ^/?(.*) https://%{SERVER_NAME}/$1 [R,L]

    #если несработает, то этот:RewriteCond %{SERVER_PORT} !^443$RewriteRule .* https://%{SERVER_NAME}%{REQUEST_URI} [R=301,L]

    #Далее редиректы по www:#редирект на wwwRewriteCond %{HTTP_HOST} ^site.ruRewriteRule (.*) https://www.site.ru/$1 [R=301,L]

    #или редирект c wwwRewriteCond %{HTTP_HOST} ^www\.(.+)$ [NC]RewriteRule ^(.*)$ https://%1/$1 [R=301,L]

    #либо редирект c wwwRewriteCond %{HTTP_HOST} ^www\.site\.ru$ [NC]RewriteRule ^(.*)$ https://site.ru/$1 [R=301,L]

    Проставляется 301 редирект на новые адреса с протоколом https. Делать это рекомендуется только после смены зеркала в панели вебмастера Яндекс на https-версию.

    Strict Transport Security

    <IfModule mod_headers.c>Header always set Strict-Transport-Security "max-age=31536000; includeSubDomains"Header set Set-Cookie HttpOnly;Secure</IfModule>

    Позволит защитить от перехвата данных при редиректе (как пишут). Спорная директива. После неё не смог зайти в админку.

    P.S. В Таймвебе ребята помогли и подсказали документацию.

    Получился такой рабочий код:

    <IfModule mod_headers.c>RequestHeader edit Destination ^https: http: early</IfModule>

    Как узнать что переезд завершен?

    Яндекс

    В яндексе придет уведомление:

    Уведомления в яндекс вебмастере о переезде сайта

    Далее в самом вебмастере Яндекса группа доменов должна быть объедина и главное зеркало с https протоколом стоять первым, индекс должен быть полным - это означает что переезд завершен:

    Склейка зеркал в Яндексе

    Google

    "Панель инструментов" => "Индекс Google" => "Статус индексирования" - тут можно увидеть, проиндексировалась ли версия сайта или нет:

    Статус индексирования в Google

    Выравнивание индекса в обоих поисковых системах с реальным количеством полезных старниц является успешным завершением перехода на безопасный протокол.

    ТиЦ

    На практике ТиЦ начинает обнуляться на старом домене и только после смены зеркала возращается через 2 недели - 3 месяца. Данный фактор зависит от апдейтов тематического индекса цитирования в Яндексе. При этом тиц может стать, как больше, так и меньше по значению, по сравнению со значением до осуществления перезда сайта.

    Резюме

    Надеюсь статья вам пригодится в качестве чек-листа при переезде на новый безопасный протокол. 

    Если есть вопросы, добавления, комментарии - пишите их ниже.

    Автор статьи: Алексей Солтык

    Контакты: ВКонтакте, Моя страничка в Инстаграм, [email protected]

    Просмотров: 2469 (Ранг: 6.235 ?)

    Спасибо за прочтение! Если понравилась статья, поделитесь:

    soltyk.ru

    Переезд с http на https cо всеми настройками... : нужен программист, фриланс, FL.ru

    Бесплатно зарегистрируйся и получай уведомления о новых проектах по работе

    Заказчик

    Отзывы фрилансеров: + 1 0 - 0

    Зарегистрирован на сайте 5 месяцев

    Бюджет: по договоренности

    Организация переезда сайта zamer-vorot.ru (CMS Битрикс) на https " под ключ" с настройкой сайта и исправлением ошибок. Сертификат можно взять бесплатно с хостинга "бегет". Ожидаем предложения с ценой и сроками исполнения.

    Разделы:

    Опубликован:

    16.02.2018 | 14:50

    Теги: Веб программисты удаленно, нужен программист, резюме программиста, требуется программист, резюме веб программиста

    www.fl.ru

    Переезд на HTTPS в Яндексе. Вопросы и ответы. / Новости

    Яндекс отвечает на частые вопросы, которые возникают при переезде с https на https.

    1. Нужно ли переходить на HTTPS? Поможет ли это улучшить позиции?

    В поисковой системе Яндекс сайты по протоколу HTTP/HTTPS индексируются и участвуют в поиске на равных условиях. Принимая решение о подключении SSL-сертификата, ориентироваться стоит на безопасность пользователей. Например, в случаях, если на сайте можно совершать покупки или другие операции с финансами.

    2. Планируете ли вы помечать все сайты по протоколу HTTP как небезопасные?

    Таких планов в настоящий момент нет.

    3. Мой сайт сразу работает по протоколу HTTPS. Нужно ли сначала добавить его по HTTP и дождаться индексирования?

    Нет, этого делать не обязательно. Вы можете сразу добавить его в Яндекс.Вебмастер по адресу с HTTPS.

    4. Стоит ли ждать, пока сайт HTTPS проиндексируется перед тем, как начинать переезд?

    Нет, переезд можно начинать в любой момент.

    5. Есть ли разница между 301-м и 302-м редиректом при переезде?

    Нет, и в том, и в другом случае переезд будет совершен в обычном режиме.

    6. Нужно ли добавлять файл sitemap для HTTPS-сайта?

    Да. Для сайта по протоколу HTTPS лучше создать свой файл sitemap и указать в нем ссылки на страницы по протоколу HTTPS. Сделать это можно сразу после начала переезда.

    7. Мы захотели подключить SSL-сертификат, добавили https://site.ru в Яндекс.Вебмастер, а выясняется, что он уже неглавное зеркало сайта с HTTP. Нужно ли расклеивать их для смены главного зеркала?

    Расклеивать сайты не нужно, вы можете просто сменить главное зеркало в данной группе. Процесс в целом ничем не отличается от склейки, только в этом случае я особенно не рекомендую использовать редирект для переезда: получится, что главное зеркало недоступно из-за редиректа, а цель редиректа - это неглавное зеркало и в поиск попасть не сможет. В результате в поиск страницы не смогут попасть совсем. В такой ситуации устанавливайте директиву "Host: https://site.ru", используйте "Переезд сайта", адрес в поиске будет изменён в течение нескольких недель.

    8. Выполнили переезд, настроили редирект, а теперь в Яндекс.Вебмастере для сайта с HTTP висит предупреждение, что robots.txt недоступен. Что делать?

    Это связано с установленным Вами редиректом. Файл site.ru/robots.txt редиректит на https://site.ru/robots.txt и поэтому недоступен. В этом случае можно либо снять редирект только с файла robots.txt, либо игнорировать данное сообщение. На обход главного зеркала с HTTPS это никак не повлияет.

    9. Завершили переезд на HTTPS, но в Яндекс.Вебмастере висит предупреждение о противоречивой директиве Host.Если главное зеркало - сайт с HTTPS, протокол в директиве Host также необходимо указать: "Host: https://site.ru"

    10. Как узнать, что переезд завершился?

    В разделе "Уведомления" Яндекс.Вебмастера вы увидите сообщение о том, что для сайта site.ru изменилось главное зеркало и теперь главным зеркалом признан домен https://site.ru . В разделе "Мои сайты" сервиса сайты начнут отображаться как "связанные":

    Главное зеркало будет располагаться в самом верху группы. Инструмент "Переезд сайта" для неглавного зеркала сменится на инструмент "Отклейка зеркал".

    11. Сайты склеились, а Внешние ссылки и Оригинальные тексты не перенеслись, что делать?

    Показатели старого сайта с HTTP, включая ссылки и оригинальные тексты, учитываются для нового главного зеркала. При этом отображаться они будут в панели Яндекс.Вебмастера именно для того сайта, для которого были добавлены.

    12. Нужно ли удалять старый сайт из Яндекс.Вебмастера?

    Удалять старый сайт необязательно. Вы можете оставить его, чтобы проверять информацию о внешних ссылках (см. пункт выше) и другие статистики неглавного зеркала. По желанию, его можно и удалить из сервиса, на индексирование главного зеркала это никак не повлияет.

    masterstar.ru


    Prostoy-Site | Все права защищены © 2018 | Карта сайта