Opencart убрать дубли страниц: Opencart SeoPro или как убрать дубли страниц

Содержание

Как найти и удалить дубли на сайте – проверка сайта на дубли онлайн-сервисами и программами

Краткое содержание статьи:

  1. Виды дублей страниц
    1. Полные дубли

    2. Частичные дубли

  2. Виды проверки
    1. Онлайн-сервисы

    2. Десктопные программы

При работе над технической оптимизацией сайта крайне важно уделить внимание устранению дублей страниц, т.к. они негативно воспринимаются поисковыми системами, вплоть до наложения санкций. Это происходит из-за того, что дубли снижают уникальность страниц, которые они дублируют, а также всего сайта в целом. Из-за них снижается релевантность сайта, вес страниц, они могут затруднять индексацию. Частая проблема – основная страница в выдаче может замениться дублированной, и из-за этого могут происходить скачки позиций по продвигаемым фразам. Такая ситуация происходит, потому что поисковая система не может определиться с релевантной страницей и постоянно меняет ее с одной на другую. (.+)/$ /$1 [R=301,L]

Плагины, модули и особенности CMS. В зависимости от CMS и установленных на них плагинов и модулей, они могут создавать разные дубли страниц, которые также важно находить и убирать. Например, на CMS WordPress обычное дело встретить автоматические дубли, в url которых есть feed, tag, attacment, trackback, replytocom и пр.

Решение:

Закрыть дубли от индексации в robots.txt, например с помощью правила Disallow: *?replytocom.

Т.к. в адресах дублей часто имеется знак вопроса, самый простой способ избавиться от большей их части – это правило Disallow: /*? (при условии, что на сайте нет актуальных адресов со знаком вопроса).

Еще один вид дублей – когда отсутствует уровень вложенности, и одна и та же страница доступна по разным адресам, например: https://site.ru/katalog/bumaga и https://site.ru/bumaga. Дубль может появляться как из-за установленных модулей, так и из-за особенностей CMS.

Решение:

Поможет только настройка 301-редиректа с дубля на основную страницу. (.*)$ https://site.ru/page/? [R=301,L]

  • Еще один вариант избавления от get-параметров – настройка директивы Clean-param в файле robots.txt (работает только для Яндекса).

    • Дублирование товара. Бывает так, что один и тот же товар добавляется на сайт несколько раз (например, это могло произойти случайно) или из-за особенностей CMS специально, чтобы товары могли оказаться в разных разделах (например, когда CMS не умеет привязывать один и тот же товар в разные категории под одним адресом).

    Решение:

    В случае, если виновата CMS, то рекомендуется настроить для дублей атрибут canonical. Если такие дубли были добавлены вручную и их не много, то можно удалить самостоятельно.

    UTM-метки – спецпараметры в url, которые позволяют передавать данные для анализа рекламы и источника переходов. Бывает так, что после их настройки такие url попадают в индекс и создают дубли продвигаемым страницам.

    Разные решения:

    • На страницах с UTM-метками настроить каноническую ссылку.

    • Закрыть индексацию таких страниц с помощью robots.txt – Disallow: /*?utm_* или с помощью директивы Clean-param.

    • Можно настроить мета-тег robots, указав в нём noindex на страницах с UTM-метками.

    Аналогично можно избавиться от меток yclid, gclid и многих других.

    404-ошибка отдает ответ сервера 200. Часто бывает так, что у несуществующей страницы не настроен необходимый ответ сервера, а именно 404. Чтобы проверить это, нужно взять любую страницу и вместо адекватного url, ввести абракадабру: https://site.ru/jshfjdjgkls и далее с помощью любого сервиса для просмотра HTTP-заголовков, например bertal.ru, проверить ответ сервера https://site.ru/jshfjdjgkls. Если он отдает 200-ответ, значит потенциально у сайта может быть гигантское количество дублей. Рекомендуется проверить url разных видов – например, адрес раздела, товара и пр., желательно добавлять символы на разных уровнях адреса страницы, а также пробовать добавлять множественные слеши, заменять черточки на нижние подчеркивания.

    Решение:

    Для несуществующих страниц настроить 404-ответ сервера путём доработки кода.

    Тестовый дубль сайта. Часто после разработки сайта или его доработок на отдельном тестовом домене делается полный дубль сайта для внедрения на него нового функционала, дизайна и пр. Если дубль сайта не закрыть от индексации, он может спокойно индексироваться поисковыми системами.

    Решения:

    Версия для печати, RSS и PDF. Чем мешают такие страницы? Например, печатная версия полностью дублирует весь контент страницы, аналогично с RSS-лентой и PDF-версией страниц.

    Решение:

    Проще всего закрыть такие дубли от индексирования поисковыми системами в файле robots.txt, например для версии страницы для печати задать такое правило:

    Disallow: */print.

    Частичные дубли

    Частичные дубли (или нечеткие) – это когда контент страниц совпадает лишь частично. Нечеткие дубли имеют меньше отрицательного влияния на сайт, но они все еще ухудшают его ранжирование, хоть и незначительно.

    Когда товары имеют одинаковые характеристики. Такие дубли тоже бывают, и они появляются тогда, когда у товара совпадает название и все описание, иногда даже изображение. Эти дубли заводятся вручную, и они свойственны сайтам, которые продают продукцию, которая отличается друг от друга какой-то деталью, например, цветом или составом.

    Решение:

    Такие товары рекомендуется уникализировать относительно друг друга, это можно сделать как вручную, там и автоматически – например, найти, какой-то параметр, который их отличает и добавить его в заголовок h2, мета-теги title и description, например это может быть артикул, цвет и др. Для добавления большей уникальности рекомендуется добавить разные описания товарам.

    Страницы пагинации – разбивка контента сайта по отдельным страницам с нумерацией. На страницах пагинации может дублируется текст, заголовок и мета-теги, которые размещены на первой странице.

    Решения:

    • Если на странице с листингом размещен текст – то лучше с помощью доработки кода сайта убрать его со страниц с пагинацией.

    • Для добавления уникальности рекомендуется в title и description (можно и в заголовок h2) добавлять приписку с номером страницы. Пример title: «Купить перчатки оптом по цене производителя – страница 2».

    Страницы сортировки и фильтров тоже будут частичными дублями, т.к. категории с таким функционалом отображают одни и те же товары, которые просто отсортированы по разным параметрам, например по цене, новинкам и др.

    Решение:

    Если вы не планируете к продвижению такие страницы, то рекомендуется их закрыть от индексации, например в файле robots.txt (или с помощью мета-тега robots) или с помощью атрибута canonical.

    Разные страницы, но одинаковые мета-теги. Такое может произойти, например, если для не важных страниц, например новостей, был задан один шаблон для формирования мета-тегов. Получается, что на сайте есть совершенно разные новости с одинаковыми мета-данными, и они будут считаться неполными дублями.

    Решение:

    Прописать для каждой страницы отдельно мета-тег, либо настроить шаблон мета-тегов так, чтобы добавить в них уникальность, например включив в него главный заголовок. Приведем пример мета-тега description для новости: «Читайте актуальную новость от компании АБВ по теме: 21 мая компания совершила отгрузку рекордного количества сырья.» – где вторая часть мета-тега это заголовок новости.

    Виды проверки

    Какие-то простые и распространенные дубли можно быстро и легко найти вручную, например, задать в строке браузера разные версии адреса: с http, с www и без, со слешем на конце и без и т.д. Но, чтобы найти другие виды дублей, могут понадобится дополнительные инструменты, о которых мы сейчас расскажем.

    Онлайн-сервисы

    Яндекс.Вебмастер. Чтобы посмотреть, какие страницы Яндекс посчитал дублями и исключил их из поиска, необходимо перейти в Яндекс.Вебмастер в раздел «Индексирование», затем «Страницы в поиске» и выбрать вкладку «Исключенные страницы». У дублированных страниц будет стоять статус «Удалено: Дубль».

    Но, ограничиваться только Яндекс.Вебмастером в нахождении дублированных страниц не стоит, возможно он их еще не проиндексировал, либо наоборот они находятся в индексе вместе с оригинальным контентом.

    Google Search Console. В сервисе Google также можно посмотреть обнаруженные им дубли страниц. Это можно сделать, перейдя в Google Search Console, далее в раздел «Покрытие», вкладка «Исключено» и смотреть сведения по исключенным страницам. Дублированные страницы будут помечены «Страница является копией».

    Apollon.guru «Поиск дублей». Чтобы начать искать дублированные страницы с помощью данного сервиса, необходимо выбрать разные типы страниц вашего сайта для их проверки (например, главная страница, страница категории, товар, страница новостей и пр.). Далее эти страницы нужно добавить в поле сервиса и запустить проверку.

    На примере выше найден дубль с ответом сервера 200, выделен красным.

    Десктопные программы

    Xenu. Бесплатная программа, с помощью которой можно найти дубли страниц по одинаковым мета-тегам title, а также по description. Чтобы начать проверять сайт необходимо установить программу на ПК и далее нажать кнопку Check URL, добавив в нее домен сайта. По результатам проверки можно будет искать дубли, нажав на поле title или description – тогда они отсортируются по алфавиту.

    Screaming Frog Seo Spider. Платная программа, бесплатно можно проверить до 500 адресов. Смысл поиска дублей такой же как у Xenu – поиск по дублированным title, description и h2. Например, выбираем вкладку Page Titles и сортируем результат с заголовками по алфавиту. Также можно посмотреть вкладку URL – если её отсортировать, то отобразятся похожие адресации страниц, которые были найдены на сайте, например: страницы с пагинацией, идентичные или похожие товары.

    SiteAnalyzer. Бесплатная десктопная программа, которая покажет дубликаты страниц, текста, title, description, h2-h6. Для начала проверки нужно вставить адрес сайта и нажать кнопку «Старт», а чтобы найти дублированный контент достаточно просто отсортировать по алфавиту.

    Netpeak Spider. Платная программа, но есть freemium-тариф благодаря которому можно бесплатно найти на сайте дублированный контент и многие другие критичные ошибки. Перед тем, как запустить проверку, рекомендуем зайти в «Настройки», далее «Продвинутые» отметить весь раздел «Учитывать инструкции по сканированию и индексации» и «Next/Prev», чтобы робот пропустил и так уже ранее обнаруженные и закрытые дубли.

    Чтобы начать сканирование сайта, введите домен сайта в адресную строку и нажмите «Старт». После того, как сканирование завершится, ошибки, связанные с дублированием контента, можно будет посмотреть справа в разделе «Отчеты»/«Ошибки».

    Многие дубли страниц несложно найти и устранить, но их наличие может повлиять на SEO-продвижение сайта. Для некоторых требуется серьезная доработка кода – а значит нужна помочь разработчика. Для поиска рекомендуем использовать разные инструменты – так вы найдете максимально большое количество дублей и избавите сайт от такого вида технических ошибок, влияющих на ранжирование сайта в поисковых системах.

    Автор: Мария Саловарова

    Удаление дублей страниц на сайте, как найти и удалить дубли

     

    Порядок действий:

    • Делаем полный скрининг сайта через программу Seo Screaming Frog (скачать можно с оф. сайта: https://www.screamingfrog.co.uk/seo-spider/ или с торрентов)

    • Выгружаем дубли по заголовку h2 в Excel

    Теперь разберемся, откуда на сайте появились страницы с одинаковыми заголовками. Вариантов тут немного: либо вы сами создали пачку дублей, либо же они сгенерировались автоматом.

    90% дублей страниц я нахожу в следующих местах:

    • Товарные фильтры интернет-магазинов

    • Страницы пагинации (рубрики товаров, страницы блога, новостей и т.д.)

    • Корзины товаров, работающие через URL с параметрами

    • Незакрытые от индекса UTM метки (привет директологам)

    Я тегирую дубли страниц по характеру их образования и сразу прикидываю, что с ними делать: удалять и склеивать, менять заголовок h2, или же закрывать от индексации.

    Удаление явных дублей страниц

    • Страницы пагинации нужно клеить через: link rel=»canonical» (каноничные страницы)

    • Страницы фильтра закрываем от индексации через атрибут rel=»nofollow»

    • Неявные дубли страниц (те, что вы создали сами) удаляем и клеим через 301 редирект

    После склейки страниц проверьте, не осталось ли битых ссылок.

    Добавляем директивы в robots.txt

    В дополнение нужно закрыть дубли в robots.txt

    Для того чтобы закрыть от индексации URL, в которых есть знак «?», добавьте в robots.txt следующую строку:

    • Disallow: *?*

    Вместо знака вопроса можно добавить любой фрагмент дубликата страниц. Например:

    Если в дублях страниц встречается фрагмент «filter»: site.ru/category/filter/, то для того, чтобы закрыть все страницы-дубли, нужно добавить фрагмент:

    • Disallow: *filter*

    Пример:

    • https://artameb.ru/catalog/meditsinskie_shirmy/ — оригинальная страница

    Дубли из-под фильтра:

    • https://artameb. ru/catalog/meditsinskie_shirmy/filter/height-from-1676/apply/

    • https://artameb.ru/catalog/meditsinskie_shirmy/filter/price-base-from-4914/height-from-1676/apply/

    У дублей в примере есть кое-что схожее, в них встречается «apply» и «filter».

    Для того чтобы закрыть все возможные дубли страниц в моем случае, нужно добавить сл. директивы в robots.txt:

    • Disallow: *filter*

    • Disallow: *apply*

    Виды дублей страниц

    Я разделяю дубли на 2 типа:

    • Явные – полный дубль страницы. Их генерируют движки сайтов (Битрикс, WordPress, OpenCart, и др.). Как их искать и удалять мы разобрали выше.

    • Неявные – похожая по смыслу страница, воспринимаемая поисковиком как дубль. Такие дубли создают сами пользователи по глупости. Как с ними работать — тема для отдельной статьи.

    Владимир Кондрашов

    Пишу про SEO и маркетинг, опираясь на 10 летний опыт работы! Более 300 проектов толкнул в ТОП.

    Все рекомендации, инструкции, советы проверены мной на пачке проектов.

    Автор блога: Кондрашов ВладимирПерейти в услуги

    Joomla 3.x. Как продублировать страницу с ее содержимым

    Этот туториал покажет вам, как продублировать страницу с ее содержимым в Joomla 3.x.

    Joomla 3.x. Как продублировать страницу с ее содержимым

    Вы можете использовать опцию Пакет для копирования/перемещения страниц в Joomla. Процесс Batch позволяет копировать/перемещать страницы, устанавливать уровень доступа и менять язык. Joomla имеет разные типы страниц. Вы можете посмотреть наш видео-учебник по обзору типов элементов меню. В этом уроке мы покажем вам, как дублировать страницу категории:

    Дублирование страницы

    1. Войдите в панель администратора Joomla и откройте Меню > Главное меню Страница:

    2. Проверьте страницу, которую вы хотите скопировать.

    3. Нажмите кнопку Пакет на верхней панели инструментов:

    4. Вы увидите всплывающее окно, как показано ниже:

    5. Установить уровень доступа и язык.

    6. Выберите «Меню» или «Родительский элемент» для перемещения/копирования вашей страницы.

    7. Выберите вариант Копировать , чтобы дублировать свою страницу.

    8. Когда все настройки введены, нажмите Process . Сообщение «Пакетный процесс успешно завершен». покажет. Это означает, что страница успешно продублирована.

    Дублирование содержимого страницы

    Каждая страница Joomla состоит из статей, модулей, форм и т. д. Мы покажем вам, как дублировать содержимое страницы:

    1. Чтобы дублировать статьи Joomla, выполните следующие действия:

      • Все статьи относятся к определенной категории. Откройте страницу Content > Менеджер категорий , чтобы дублировать категорию.

      • Отметьте категорию, которую необходимо скопировать, и нажмите на опцию Пакет на верхней панели инструментов:

      • Установите язык, добавьте тег и установите уровень доступа на следующем экране.

      • Выберите категорию для перемещения/копирования и нажмите Процесс :

      • Новая категория должна быть присвоена странице, которую вы продублировали ранее. Перейдите к Меню > Главное меню . Редактировать дубликат страницы. Выберите новую категорию в поле Выберите поле категории:

      • Перейдите на вкладку Content > Менеджер статей . Отметьте статьи, которые вы хотите продублировать, и нажмите Пакет :

      • Вы можете изменить те же настройки: тег, уровень доступа и язык на следующем экране.

      • Выберите категорию, которую вы продублировали ранее, из раскрывающегося списка Выберите категорию для перемещения/копирования . Щелкните Процесс .

    2. Чтобы скопировать модули Joomla, выполните следующие действия:

      • Откройте страницу Extensions > Module Manager в административной панели Joomla:

      • Найдите модуль, который необходимо продублировать, отметьте его и нажмите кнопку Пакет на верхней панели инструментов.

      • Установите уровень доступа к модулю и выберите язык вашего сайта.

      • Выберите позицию модуля из раскрывающегося списка Set Position . Убедитесь, что ваша новая позиция меню такая же, как у уже существующего модуля. Щелкните Process , чтобы завершить дублирование.

      • Открыть дублированный модуль. Нажмите Назначение меню Кнопка для выбора страницы, на которую вы хотите назначить новый модуль:

      • Если вы продублировали модуль категории или статьи, убедитесь, что вы выбрали нужную категорию или статью на вкладке Модуль в настройках нового модуля. Вы можете выбрать артикул/категорию в . Выберите артикул / . Выберите поле «Категория » на вкладке «Модуль »:

    Вы можете использовать наши инструкции для дублирования других типов страниц. Дублирование контента зависит от типа страницы. Чтобы узнать, какой контент должен быть продублирован для конкретной страницы, вам нужно знать, как находить и редактировать контент, назначенный страницам.

    Смело смотрите подробный видеоурок ниже:

    Joomla 3.x. Как продублировать страницу с ее содержимым

    Эта запись была размещена в Joomla! Учебники и помеченный контент, дубликат, joomla, страница. Добавьте постоянную ссылку в закладки.

    Если вы по-прежнему не можете найти достаточное руководство по вашей проблеме, воспользуйтесь следующей ссылкой, чтобы отправить запрос в нашу службу технической поддержки. Мы предоставим вам нашу помощь и поддержку в течение следующих 24 часов: Отправить заявку

    Плагин удаления дубликатов сообщений для WordPress

    Детали приложения

    Самый продвинутый плагин WordPress для удаления дубликатов страниц, сообщений и любого пользовательского типа сообщений.

    Remove Duplicate Posts — это простой, но мощный плагин, который позволяет удалять дубликаты страниц, сообщений и любого пользовательского типа сообщений одним щелчком мыши.

    Зачем часами заниматься рутинной задачей по удалению дубликатов записей и страниц, если можно сделать это за считанные секунды?

    Как это работает?

    Этот процесс прост и требует всего две минуты для настройки:

    • Выберите тип сообщения, для которого вы хотите создать дубликаты.
    • Выберите такие параметры, как «Точное совпадение заголовка» или «Заголовок содержит», чтобы отфильтровать результаты поиска.
    • Выбор статуса сообщений (опубликовать, черновик и т. д.)
    • Удалять дубликаты сообщений по отдельности или массово.

    Как только вы решите, какие дубликаты удалить со своего веб-сайта, откиньтесь на спинку кресла и расслабьтесь, пока плагин творит чудеса. Индикатор выполнения сообщит вам, насколько процесс завершен.

    Возможности
    • Удаление дубликатов записей разных типов (Пользовательские, страницы, записи).
    • Отображать повторяющиеся журналы перед удалением сообщений.
    • Возможность удаления дубликатов по отдельности или массово.
    • Возможность избежать удаления исходных сообщений.
    • Match Title — удалить сообщения, которые соответствуют только этому конкретному заголовку сообщения.
    • Заголовок содержит — удалить сообщения, содержащие определенные слова в заголовке.
    • Статус сообщения — удаление сообщений с определенным статусом сообщения.
    • Индикатор выполнения, показывающий текущее состояние процесса удаления.
    • Поиск по статусу сообщения (опубликовано, черновик и т. д.)

    Цены

    Начиная с 0 долларов США в месяц.

    Плагин Ultimate Progress Circles

    От Common Ninja

    Попробуйте бесплатно!

    Информация о приложении

    Рейтинг

    Рецензенты

    10 Обзоры

    Теги

    Удалить дубликат POSTDELETE POSTSREMVE DUPLICATE POSTREMOVE

    GEHAMMAD REHMAN

    AMTREMOVE NINJA

    GEHAMMAD REHMAN

    AMTREMOVE NINJA

    GEHMAMMAD Rehman

    ninja ninja

    . Просмотрите нашу обширную коллекцию плагинов, совместимых с WordPress, и легко вставьте их на любой веб-сайт, блог, платформу электронной коммерции или конструктор сайтов.

    Быстро и просто

    Легко найти лучшие плагины WordPress для вас

    Лучшие плагины и виджеты WordPress не за горами! Исследуйте каталог Common Ninja и найдите лучшие ускорители сайтов WordPress — плагины, расширения, виджеты и многое другое! Какие инструменты продвижения сайта нужны дизайнерам? Просмотрите весь наш каталог виджетов и плагинов сегодня, чтобы узнать!

    Testimonial

    Плагины Testimonial для WordPress

    Галереи

    Плагины галереи для WordPress

    SEO

    плагины SEO для WordPress

    Контактная форма

    КОНТАРНЫЕ ФОРМА ПЛАГИНЫ ДЛЯ WORDPRES

    Плагины Social Sharing для WordPress

    Календарь событий

    Плагины календаря событий для WordPress

    Sliders

    Плагины Sliders для WordPress

    Analytics

    Analytics plugins for WordPress

    Reviews

    Reviews plugins for WordPress

    Comments

    Comments plugins for WordPress

    Portfolio

    Portfolio plugins for WordPress

    Maps

    Maps plugins for WordPress

    Security

    Плагины безопасности для WordPress

    Translation

    Плагины перевода для WordPress

    Ads

    Плагины Ads для WordPress

    Video Player

    Video Player plugins for WordPress

    Music Player

    Music Player plugins for WordPress

    Backup

    Backup plugins for WordPress

    Privacy

    Privacy plugins for WordPress

    Optimize

    Optimize plugins for WordPress

    Чат

    Плагины чата для WordPress

    Обратный отсчет

    Плагины обратного отсчета для WordPress

    Маркетинг по электронной почте

    Email Marketing plugins for WordPress

    Tabs

    Tabs plugins for WordPress

    Membership

    Membership plugins for WordPress

    popup

    popup plugins for WordPress

    SiteMap

    SiteMap plugins for WordPress

    Payment

    Payment plugins for WordPress

    Скоро

    Скоро появятся плагины для WordPress

    Электронная торговля

    Плагины для электронной коммерции для WordPress

    Customer Support

    Customer Support plugins for WordPress

    Inventory

    Inventory plugins for WordPress

    Video Player

    Video Player plugins for WordPress

    Testimonials

    Testimonials plugins for WordPress

    Tabs

    Tabs plugins for WordPress

    Social Sharing

    Плагины Social Sharing для WordPress

    Social Feeds

    Плагины Social Feeds для WordPress

    Slider

    плагины слайдера для WordPress

    Обзоры

    Обзоры плагинов для WordPress

    Портфолио

    Portfolio Plugins для WordPress

    Участники

    Плагины для WordPress

    .