Содержание
Как найти и удалить дубли на сайте – проверка сайта на дубли онлайн-сервисами и программами
Краткое содержание статьи:
- Виды дублей страниц
- Полные дубли
- Частичные дубли
- Виды проверки
- Онлайн-сервисы
- Десктопные программы
При работе над технической оптимизацией сайта крайне важно уделить внимание устранению дублей страниц, т.к. они негативно воспринимаются поисковыми системами, вплоть до наложения санкций. Это происходит из-за того, что дубли снижают уникальность страниц, которые они дублируют, а также всего сайта в целом. Из-за них снижается релевантность сайта, вес страниц, они могут затруднять индексацию. Частая проблема – основная страница в выдаче может замениться дублированной, и из-за этого могут происходить скачки позиций по продвигаемым фразам. Такая ситуация происходит, потому что поисковая система не может определиться с релевантной страницей и постоянно меняет ее с одной на другую. (.+)/$ /$1 [R=301,L]
Плагины, модули и особенности CMS. В зависимости от CMS и установленных на них плагинов и модулей, они могут создавать разные дубли страниц, которые также важно находить и убирать. Например, на CMS WordPress обычное дело встретить автоматические дубли, в url которых есть feed, tag, attacment, trackback, replytocom и пр.
Решение:
Закрыть дубли от индексации в robots.txt, например с помощью правила Disallow: *?replytocom.
Т.к. в адресах дублей часто имеется знак вопроса, самый простой способ избавиться от большей их части – это правило Disallow: /*? (при условии, что на сайте нет актуальных адресов со знаком вопроса).
Еще один вид дублей – когда отсутствует уровень вложенности, и одна и та же страница доступна по разным адресам, например: https://site.ru/katalog/bumaga и https://site.ru/bumaga. Дубль может появляться как из-за установленных модулей, так и из-за особенностей CMS.
Решение:
Поможет только настройка 301-редиректа с дубля на основную страницу. (.*)$ https://site.ru/page/? [R=301,L]
Дублирование товара. Бывает так, что один и тот же товар добавляется на сайт несколько раз (например, это могло произойти случайно) или из-за особенностей CMS специально, чтобы товары могли оказаться в разных разделах (например, когда CMS не умеет привязывать один и тот же товар в разные категории под одним адресом).
Решение:
В случае, если виновата CMS, то рекомендуется настроить для дублей атрибут canonical. Если такие дубли были добавлены вручную и их не много, то можно удалить самостоятельно.
UTM-метки – спецпараметры в url, которые позволяют передавать данные для анализа рекламы и источника переходов. Бывает так, что после их настройки такие url попадают в индекс и создают дубли продвигаемым страницам.
Разные решения:
- На страницах с UTM-метками настроить каноническую ссылку.
- Закрыть индексацию таких страниц с помощью robots.txt – Disallow: /*?utm_* или с помощью директивы Clean-param.
- Можно настроить мета-тег robots, указав в нём noindex на страницах с UTM-метками.
Аналогично можно избавиться от меток yclid, gclid и многих других.
404-ошибка отдает ответ сервера 200. Часто бывает так, что у несуществующей страницы не настроен необходимый ответ сервера, а именно 404. Чтобы проверить это, нужно взять любую страницу и вместо адекватного url, ввести абракадабру: https://site.ru/jshfjdjgkls и далее с помощью любого сервиса для просмотра HTTP-заголовков, например bertal.ru, проверить ответ сервера https://site.ru/jshfjdjgkls. Если он отдает 200-ответ, значит потенциально у сайта может быть гигантское количество дублей. Рекомендуется проверить url разных видов – например, адрес раздела, товара и пр., желательно добавлять символы на разных уровнях адреса страницы, а также пробовать добавлять множественные слеши, заменять черточки на нижние подчеркивания.
Решение:
Для несуществующих страниц настроить 404-ответ сервера путём доработки кода.
Тестовый дубль сайта. Часто после разработки сайта или его доработок на отдельном тестовом домене делается полный дубль сайта для внедрения на него нового функционала, дизайна и пр. Если дубль сайта не закрыть от индексации, он может спокойно индексироваться поисковыми системами.
Решения:
Версия для печати, RSS и PDF. Чем мешают такие страницы? Например, печатная версия полностью дублирует весь контент страницы, аналогично с RSS-лентой и PDF-версией страниц.
Решение:
Проще всего закрыть такие дубли от индексирования поисковыми системами в файле robots.txt, например для версии страницы для печати задать такое правило:
Disallow: */print.
Частичные дубли
Частичные дубли (или нечеткие) – это когда контент страниц совпадает лишь частично. Нечеткие дубли имеют меньше отрицательного влияния на сайт, но они все еще ухудшают его ранжирование, хоть и незначительно.
Когда товары имеют одинаковые характеристики. Такие дубли тоже бывают, и они появляются тогда, когда у товара совпадает название и все описание, иногда даже изображение. Эти дубли заводятся вручную, и они свойственны сайтам, которые продают продукцию, которая отличается друг от друга какой-то деталью, например, цветом или составом.
Решение:
Такие товары рекомендуется уникализировать относительно друг друга, это можно сделать как вручную, там и автоматически – например, найти, какой-то параметр, который их отличает и добавить его в заголовок h2, мета-теги title и description, например это может быть артикул, цвет и др. Для добавления большей уникальности рекомендуется добавить разные описания товарам.
Страницы пагинации – разбивка контента сайта по отдельным страницам с нумерацией. На страницах пагинации может дублируется текст, заголовок и мета-теги, которые размещены на первой странице.
Решения:
- Если на странице с листингом размещен текст – то лучше с помощью доработки кода сайта убрать его со страниц с пагинацией.
- Для добавления уникальности рекомендуется в title и description (можно и в заголовок h2) добавлять приписку с номером страницы. Пример title: «Купить перчатки оптом по цене производителя – страница 2».
Страницы сортировки и фильтров тоже будут частичными дублями, т.к. категории с таким функционалом отображают одни и те же товары, которые просто отсортированы по разным параметрам, например по цене, новинкам и др.
Решение:
Если вы не планируете к продвижению такие страницы, то рекомендуется их закрыть от индексации, например в файле robots.txt (или с помощью мета-тега robots) или с помощью атрибута canonical.
Разные страницы, но одинаковые мета-теги. Такое может произойти, например, если для не важных страниц, например новостей, был задан один шаблон для формирования мета-тегов. Получается, что на сайте есть совершенно разные новости с одинаковыми мета-данными, и они будут считаться неполными дублями.
Решение:
Прописать для каждой страницы отдельно мета-тег, либо настроить шаблон мета-тегов так, чтобы добавить в них уникальность, например включив в него главный заголовок. Приведем пример мета-тега description для новости: «Читайте актуальную новость от компании АБВ по теме: 21 мая компания совершила отгрузку рекордного количества сырья.» – где вторая часть мета-тега это заголовок новости.
Виды проверки
Какие-то простые и распространенные дубли можно быстро и легко найти вручную, например, задать в строке браузера разные версии адреса: с http, с www и без, со слешем на конце и без и т.д. Но, чтобы найти другие виды дублей, могут понадобится дополнительные инструменты, о которых мы сейчас расскажем.
Онлайн-сервисы
Яндекс.Вебмастер. Чтобы посмотреть, какие страницы Яндекс посчитал дублями и исключил их из поиска, необходимо перейти в Яндекс.Вебмастер в раздел «Индексирование», затем «Страницы в поиске» и выбрать вкладку «Исключенные страницы». У дублированных страниц будет стоять статус «Удалено: Дубль».
Но, ограничиваться только Яндекс.Вебмастером в нахождении дублированных страниц не стоит, возможно он их еще не проиндексировал, либо наоборот они находятся в индексе вместе с оригинальным контентом.
Google Search Console. В сервисе Google также можно посмотреть обнаруженные им дубли страниц. Это можно сделать, перейдя в Google Search Console, далее в раздел «Покрытие», вкладка «Исключено» и смотреть сведения по исключенным страницам. Дублированные страницы будут помечены «Страница является копией».
Apollon.guru «Поиск дублей». Чтобы начать искать дублированные страницы с помощью данного сервиса, необходимо выбрать разные типы страниц вашего сайта для их проверки (например, главная страница, страница категории, товар, страница новостей и пр.). Далее эти страницы нужно добавить в поле сервиса и запустить проверку.
На примере выше найден дубль с ответом сервера 200, выделен красным.
Десктопные программы
Xenu. Бесплатная программа, с помощью которой можно найти дубли страниц по одинаковым мета-тегам title, а также по description. Чтобы начать проверять сайт необходимо установить программу на ПК и далее нажать кнопку Check URL, добавив в нее домен сайта. По результатам проверки можно будет искать дубли, нажав на поле title или description – тогда они отсортируются по алфавиту.
Screaming Frog Seo Spider. Платная программа, бесплатно можно проверить до 500 адресов. Смысл поиска дублей такой же как у Xenu – поиск по дублированным title, description и h2. Например, выбираем вкладку Page Titles и сортируем результат с заголовками по алфавиту. Также можно посмотреть вкладку URL – если её отсортировать, то отобразятся похожие адресации страниц, которые были найдены на сайте, например: страницы с пагинацией, идентичные или похожие товары.
SiteAnalyzer. Бесплатная десктопная программа, которая покажет дубликаты страниц, текста, title, description, h2-h6. Для начала проверки нужно вставить адрес сайта и нажать кнопку «Старт», а чтобы найти дублированный контент достаточно просто отсортировать по алфавиту.
Netpeak Spider. Платная программа, но есть freemium-тариф благодаря которому можно бесплатно найти на сайте дублированный контент и многие другие критичные ошибки. Перед тем, как запустить проверку, рекомендуем зайти в «Настройки», далее «Продвинутые» отметить весь раздел «Учитывать инструкции по сканированию и индексации» и «Next/Prev», чтобы робот пропустил и так уже ранее обнаруженные и закрытые дубли.
Чтобы начать сканирование сайта, введите домен сайта в адресную строку и нажмите «Старт». После того, как сканирование завершится, ошибки, связанные с дублированием контента, можно будет посмотреть справа в разделе «Отчеты»/«Ошибки».
Многие дубли страниц несложно найти и устранить, но их наличие может повлиять на SEO-продвижение сайта. Для некоторых требуется серьезная доработка кода – а значит нужна помочь разработчика. Для поиска рекомендуем использовать разные инструменты – так вы найдете максимально большое количество дублей и избавите сайт от такого вида технических ошибок, влияющих на ранжирование сайта в поисковых системах.
Автор: Мария Саловарова
Удаление дублей страниц на сайте, как найти и удалить дубли
youtube.com/embed/_yfI0AbIlaQ» frameborder=»0″ allowfullscreen=»allowfullscreen»>
Порядок действий:
- Делаем полный скрининг сайта через программу Seo Screaming Frog (скачать можно с оф. сайта: https://www.screamingfrog.co.uk/seo-spider/ или с торрентов)
- Выгружаем дубли по заголовку h2 в Excel
Теперь разберемся, откуда на сайте появились страницы с одинаковыми заголовками. Вариантов тут немного: либо вы сами создали пачку дублей, либо же они сгенерировались автоматом.
90% дублей страниц я нахожу в следующих местах:
- Товарные фильтры интернет-магазинов
- Страницы пагинации (рубрики товаров, страницы блога, новостей и т.д.)
- Корзины товаров, работающие через URL с параметрами
- Незакрытые от индекса UTM метки (привет директологам)
Я тегирую дубли страниц по характеру их образования и сразу прикидываю, что с ними делать: удалять и склеивать, менять заголовок h2, или же закрывать от индексации.
Удаление явных дублей страниц
- Страницы пагинации нужно клеить через: link rel=»canonical» (каноничные страницы)
- Страницы фильтра закрываем от индексации через атрибут rel=»nofollow»
- Неявные дубли страниц (те, что вы создали сами) удаляем и клеим через 301 редирект
После склейки страниц проверьте, не осталось ли битых ссылок.
Добавляем директивы в robots.txt
В дополнение нужно закрыть дубли в robots.txt
Для того чтобы закрыть от индексации URL, в которых есть знак «?», добавьте в robots.txt следующую строку:
- Disallow: *?*
Вместо знака вопроса можно добавить любой фрагмент дубликата страниц. Например:
Если в дублях страниц встречается фрагмент «filter»: site.ru/category/filter/, то для того, чтобы закрыть все страницы-дубли, нужно добавить фрагмент:
- Disallow: *filter*
Пример:
- https://artameb.ru/catalog/meditsinskie_shirmy/ — оригинальная страница
Дубли из-под фильтра:
- https://artameb.
ru/catalog/meditsinskie_shirmy/filter/height-from-1676/apply/
- https://artameb.ru/catalog/meditsinskie_shirmy/filter/price-base-from-4914/height-from-1676/apply/
У дублей в примере есть кое-что схожее, в них встречается «apply» и «filter».
Для того чтобы закрыть все возможные дубли страниц в моем случае, нужно добавить сл. директивы в robots.txt:
- Disallow: *filter*
- Disallow: *apply*
Виды дублей страниц
Я разделяю дубли на 2 типа:
- Явные – полный дубль страницы. Их генерируют движки сайтов (Битрикс, WordPress, OpenCart, и др.). Как их искать и удалять мы разобрали выше.
- Неявные – похожая по смыслу страница, воспринимаемая поисковиком как дубль. Такие дубли создают сами пользователи по глупости. Как с ними работать — тема для отдельной статьи.
Владимир Кондрашов
Пишу про SEO и маркетинг, опираясь на 10 летний опыт работы! Более 300 проектов толкнул в ТОП.
Все рекомендации, инструкции, советы проверены мной на пачке проектов.
Автор блога: Кондрашов ВладимирПерейти в услуги
Joomla 3.x. Как продублировать страницу с ее содержимым
Этот туториал покажет вам, как продублировать страницу с ее содержимым в Joomla 3.x.
Joomla 3.x. Как продублировать страницу с ее содержимым
Вы можете использовать опцию Пакет для копирования/перемещения страниц в Joomla. Процесс Batch позволяет копировать/перемещать страницы, устанавливать уровень доступа и менять язык. Joomla имеет разные типы страниц. Вы можете посмотреть наш видео-учебник по обзору типов элементов меню. В этом уроке мы покажем вам, как дублировать страницу категории:
Дублирование страницы
Войдите в панель администратора Joomla и откройте Меню > Главное меню Страница:
Проверьте страницу, которую вы хотите скопировать.
Нажмите кнопку Пакет на верхней панели инструментов:
Вы увидите всплывающее окно, как показано ниже:
Установить уровень доступа и язык.
Выберите «Меню» или «Родительский элемент» для перемещения/копирования вашей страницы.
Выберите вариант Копировать , чтобы дублировать свою страницу.
Когда все настройки введены, нажмите Process . Сообщение «Пакетный процесс успешно завершен». покажет. Это означает, что страница успешно продублирована.
Дублирование содержимого страницы
Каждая страница Joomla состоит из статей, модулей, форм и т. д. Мы покажем вам, как дублировать содержимое страницы:
Чтобы дублировать статьи Joomla, выполните следующие действия:
Все статьи относятся к определенной категории.
Откройте страницу Content > Менеджер категорий , чтобы дублировать категорию.
Отметьте категорию, которую необходимо скопировать, и нажмите на опцию Пакет на верхней панели инструментов:
Установите язык, добавьте тег и установите уровень доступа на следующем экране.
Выберите категорию для перемещения/копирования и нажмите Процесс :
Новая категория должна быть присвоена странице, которую вы продублировали ранее. Перейдите к Меню > Главное меню . Редактировать дубликат страницы. Выберите новую категорию в поле Выберите поле категории:
Перейдите на вкладку Content > Менеджер статей . Отметьте статьи, которые вы хотите продублировать, и нажмите Пакет :
Вы можете изменить те же настройки: тег, уровень доступа и язык на следующем экране.
Выберите категорию, которую вы продублировали ранее, из раскрывающегося списка Выберите категорию для перемещения/копирования . Щелкните Процесс .
Чтобы скопировать модули Joomla, выполните следующие действия:
Откройте страницу Extensions > Module Manager в административной панели Joomla:
Найдите модуль, который необходимо продублировать, отметьте его и нажмите кнопку Пакет на верхней панели инструментов.
Установите уровень доступа к модулю и выберите язык вашего сайта.
Выберите позицию модуля из раскрывающегося списка Set Position . Убедитесь, что ваша новая позиция меню такая же, как у уже существующего модуля. Щелкните Process , чтобы завершить дублирование.
Открыть дублированный модуль.
Нажмите Назначение меню Кнопка для выбора страницы, на которую вы хотите назначить новый модуль:
Если вы продублировали модуль категории или статьи, убедитесь, что вы выбрали нужную категорию или статью на вкладке Модуль в настройках нового модуля. Вы можете выбрать артикул/категорию в . Выберите артикул / . Выберите поле «Категория » на вкладке «Модуль »:
Вы можете использовать наши инструкции для дублирования других типов страниц. Дублирование контента зависит от типа страницы. Чтобы узнать, какой контент должен быть продублирован для конкретной страницы, вам нужно знать, как находить и редактировать контент, назначенный страницам.
Смело смотрите подробный видеоурок ниже:
Joomla 3.x. Как продублировать страницу с ее содержимым
Эта запись была размещена в Joomla! Учебники и помеченный контент, дубликат, joomla, страница. Добавьте постоянную ссылку в закладки.
Если вы по-прежнему не можете найти достаточное руководство по вашей проблеме, воспользуйтесь следующей ссылкой, чтобы отправить запрос в нашу службу технической поддержки. Мы предоставим вам нашу помощь и поддержку в течение следующих 24 часов: Отправить заявку
Плагин удаления дубликатов сообщений для WordPress
Детали приложения
Самый продвинутый плагин WordPress для удаления дубликатов страниц, сообщений и любого пользовательского типа сообщений.
Remove Duplicate Posts — это простой, но мощный плагин, который позволяет удалять дубликаты страниц, сообщений и любого пользовательского типа сообщений одним щелчком мыши.
Зачем часами заниматься рутинной задачей по удалению дубликатов записей и страниц, если можно сделать это за считанные секунды?
Как это работает?
Этот процесс прост и требует всего две минуты для настройки:
- Выберите тип сообщения, для которого вы хотите создать дубликаты.
- Выберите такие параметры, как «Точное совпадение заголовка» или «Заголовок содержит», чтобы отфильтровать результаты поиска.
- Выбор статуса сообщений (опубликовать, черновик и т. д.)
- Удалять дубликаты сообщений по отдельности или массово.
Как только вы решите, какие дубликаты удалить со своего веб-сайта, откиньтесь на спинку кресла и расслабьтесь, пока плагин творит чудеса. Индикатор выполнения сообщит вам, насколько процесс завершен.
Возможности
- Удаление дубликатов записей разных типов (Пользовательские, страницы, записи).
- Отображать повторяющиеся журналы перед удалением сообщений.
- Возможность удаления дубликатов по отдельности или массово.
- Возможность избежать удаления исходных сообщений.
- Match Title — удалить сообщения, которые соответствуют только этому конкретному заголовку сообщения.
- Заголовок содержит — удалить сообщения, содержащие определенные слова в заголовке.
- Статус сообщения — удаление сообщений с определенным статусом сообщения.
- Индикатор выполнения, показывающий текущее состояние процесса удаления.
- Поиск по статусу сообщения (опубликовано, черновик и т. д.)
Цены
Начиная с 0 долларов США в месяц.
Плагин Ultimate Progress Circles
От Common Ninja
Попробуйте бесплатно!
Информация о приложении
Рейтинг
Рецензенты
10 Обзоры
Теги
Удалить дубликат POSTDELETE POSTSREMVE DUPLICATE POSTREMOVE
GEHAMMAD REHMAN
AMTREMOVE NINJA
GEHAMMAD REHMAN
AMTREMOVE NINJA
GEHMAMMAD Rehman
ninja ninja
. Просмотрите нашу обширную коллекцию плагинов, совместимых с WordPress, и легко вставьте их на любой веб-сайт, блог, платформу электронной коммерции или конструктор сайтов.
Быстро и просто
Легко найти лучшие плагины WordPress для вас
Лучшие плагины и виджеты WordPress не за горами! Исследуйте каталог Common Ninja и найдите лучшие ускорители сайтов WordPress — плагины, расширения, виджеты и многое другое! Какие инструменты продвижения сайта нужны дизайнерам? Просмотрите весь наш каталог виджетов и плагинов сегодня, чтобы узнать!
Testimonial
Плагины Testimonial для WordPress
Галереи
Плагины галереи для WordPress
SEO
плагины SEO для WordPress
Контактная форма
КОНТАРНЫЕ ФОРМА ПЛАГИНЫ ДЛЯ WORDPRES
Плагины Social Sharing для WordPress
Календарь событий
Плагины календаря событий для WordPress
Sliders
Плагины Sliders для WordPress
Analytics
Analytics plugins for WordPress
Reviews
Reviews plugins for WordPress
Comments
Comments plugins for WordPress
Portfolio
Portfolio plugins for WordPress
Maps
Maps plugins for WordPress
Security
Плагины безопасности для WordPress
Translation
Плагины перевода для WordPress
Ads
Плагины Ads для WordPress
Video Player
Video Player plugins for WordPress
Music Player
Music Player plugins for WordPress
Backup
Backup plugins for WordPress
Privacy
Privacy plugins for WordPress
Optimize
Optimize plugins for WordPress
Чат
Плагины чата для WordPress
Обратный отсчет
Плагины обратного отсчета для WordPress
Маркетинг по электронной почте
Email Marketing plugins for WordPress
Tabs
Tabs plugins for WordPress
Membership
Membership plugins for WordPress
popup
popup plugins for WordPress
SiteMap
SiteMap plugins for WordPress
Payment
Payment plugins for WordPress
Скоро
Скоро появятся плагины для WordPress
Электронная торговля
Плагины для электронной коммерции для WordPress
Customer Support
Customer Support plugins for WordPress
Inventory
Inventory plugins for WordPress
Video Player
Video Player plugins for WordPress
Testimonials
Testimonials plugins for WordPress
Tabs
Tabs plugins for WordPress
Social Sharing
Плагины Social Sharing для WordPress
Social Feeds
Плагины Social Feeds для WordPress
Slider
плагины слайдера для WordPress
Обзоры
Обзоры плагинов для WordPress
Портфолио
Portfolio Plugins для WordPress
Участники
Плагины для WordPress