Парсер описаний фильмов для wordpress. Wordpress парсер
Парсер по jquery-подобным селекторам для Wordpress
Вступление
Таки да, я созрел для запиливания нового обновления к своему парсеру. К сожалению предыдущая версия для пользователей оказалась не такой дружелюбной, как я бы того хотел. И потому я долго-долго думал над реализацией и в итоге таки написал ее. Представляю вам альтернативный режим работы парсера, а именно — парсинг по jquery селекторам.
Сегодня я постараюсь осветить этот режим более подробно, дабы читатель смог вникнуть во все аспекты работы с плагином.
Описание обновления
Для начала посмотрим на измененный парсер ссылок. Теперь в нем имеется два режима, старый и новый:
Старый режим это парсинг по границам, он никуда не делся, просто переключите флажок и он появится перед вами.
Так-же, как вы видите, имеется возможность выбрать случайную категорию из списка, таким образом можно перемешивать новости в категориях.
Что же касательно самого режима, то вот он:
Первые два селектора отвечают, за заголовок будущего материала и его содержимое. Не беспокойтесь, все картинки которые находятся в содержимом материала, по возможности, разуемеется, будут скачаны к вам на сервер и добавлены в media библиотеку.
Дальше идет фильтрация содержимого от ненужных блоков:
Как вы видите фильтровать блоки можно по регулярным выражениям или по селекторам, это опять-же, зависит от того что вам удобнее и подходит под ситуацию.
Ко всему прочему имеется и встроенный yandex переводчик:
В качестве приятного дополнения был добавлен так-же загрузчик файлов со страниц. Работает он только! для ссылок с атрибутом href, так что будьте внимательны:
Ну и в качестве своеобразного заключения давайте спарсим какой-нибудь сайт с использованием нового режима и демонстрацией всех возможностей.
Установка обновления
К сожалению при внесении правок понадобилось изменить базу данных парсера, так что теперь, если вы использовали старую версию парсера, вам понадобится выполнить несколько шагов для его активации. Во первых скачайте с этой страницы последнюю версию плагина. Сохраните ту версию плагина, которая у вас работает в данный момент, после чего распакуйте с заменой файлов новую версию плагина.
Теперь перейдите в админку WordPress -> Плагины и там сначала деактивируйте, а потом активируйте aftparser:
Демонстрация работы
Давайте в качестве демонстрации спарсим абсолютно любой сайт женской тематики. И так… что мне приходит на ум в данном случае… пусть это будет… да тематика не такая уж простая для мужчины, однако крайне выгодная с точки зрения размещения рекламы и прочих ништяков по причине плохой технической подкованности прекрасной половины человечества.
И так берем мы вот этот сайт из топа — womenparadise.ru
Разумеется я выкладываю вам тут только демонстрацию работы, сам я использовать материалы с этого сайта нигде не собираюсь просто потому что мне и так некогда. Короче воровать контент или нет решать сугубо вам, я бы советовал вам переводить его на украинский тогда это уже будет не такой наглой кражей, скажем так. И парсить сайты не из топа, которые там и так крайне прочно сидят, а с днища ебаного. Я вот щас из топа беру, так что толку от моих действий никакого не будет даже если я выложу такое в интернет.
Начнем со сбора ссылок, мне много не надо штук 100 хватит за глаза для демонстрации.
Тыкаем старт и останавливаем в нужный момент.
Ну вот вы видите, что ссылок у меня собралось 203, но я ждал секунд 20 от силы, теперь надо всю эту хрень отфильтровать. Для этого просто берем и открываем простой фильтр. Ссылки на полноценные посты у нас всегда оканчиваются на .html так что мы возьмем и отфильтруем только те строки где есть .html
Отлично, теперь можно переходить к настройке границ. Если вы до этого хотя-бы мельком, немного, работали с jquery вам будет все очевидно и крайне просто, но если это не так… сейчас все разъясню.
Открываем любой пост и ищем его заголовок, в данно случае это будет название нового материала и у нас тоже!
Тут у нас просто h2 поэтому селектором заголовка будет h2.
Указываем:
Теперь так-же делаем с содержимым материала.
В данном случае мы имеем блок td и class=»news», что в виде селектора будет td.news
Теперь тестируем:
Однако можно пойти по другому пути и, например, подсчитать блоки tr до блока с постом после чего выбрать тем блок td (это для продвинутых). Давайте сделаем и так тоже, на всякий случай.
Как мы видим dom структура документа состоит из таблицы.
Где верхний блок имеет id=»dle-content». Будем от него «плясать». В итоге получается:
#dle-content table tbody tr
Блоков tr у нас много, поэтому подсчитаем каким по счету идет блок контента.
Итого: шестым. Внутри блока tr еще есть один блок td в котором и находится наш материал. Итоговое выражение выйдет таким:
#dle-content table tbody tr[6] td
указываем его как селектор контента
и тестируем
Как вы видите результаты совпадают. Короче говоря есть масса путей, выбирайте свой и делайте.
Теги скриптов удаляются, мусор по возможности удаляется, в будущем чистка от мусора будет дляменя приортитетна, а пока используйте замену. Например те кто внимательно смотрел тест заметили первый блок содержащий <div> </div> — эта хрень, что логично, мне не нужна.
Давайте ее уберем. Для этого указываем такое регулярное выражение:
<div>\s*<\/div>
в соответствующем поле.
После тестирования блок пропадает.
Отлично, теперь можно просто взять и спарсить материалы. Или сохранить их для отложенного парсинга, тут ничего не изменилось. Но я предпочитаю спарсить и посмотреть на результат.
Вот собственно материалы. Они получились ОЧЕНЬ длинные, чтобы вы понимали, я приложу только часть скрина:
На этом, собственно, все. Используйте парсер с умом. Надеюсь с этими правками у вас все будет работать.
Поделиться ссылкой:
Похожее
aftamat4ik.ru
Парсер описаний фильмов для wordpress
Плагин позволяет на лету публиковать фильмы, аниме и мультфильмы на сайт. Поставляется абсолютно бесплатно.
Скачать:
Инструкция по работе с плагином
После установки плагина на свой сайт, вам необходимо будет перейти на страницу настроек (Плагины -> Граббер Фильмов) и заполнить соответствующие поля, см картинку.
Не беспокойтесь, я не краду ваши пароли… и прочие виды информации. Просто потому что это мне не выгодно.
После заполнения полей настройки, вы сможете парсить описания фильмов прямо на странице добавления нового поста (Записи — Добавить новую).
Внизу появится форма с мета-полями следующего вида:
Давайте спарсим описание для фильма… 9 рота, для примера. Просто вводим его название в соответствующее поле, а потом нажимаем на кнопку «искать на IMDB».
Нажмем на кнопку «выбрать» и получаем готовый материал.
Собственно, описание будет вставлено в текст материала, так-же задается изображение записи и ее название.
Теперь можно вручную уникализировать текст описания или просто изменить название.
Особенности платной версии
Платная версия плагина отличается от бесплатной тем, что в нее встроен граббер плееров для фильмов из популярных видео-хостингов, таких как одноклассники, youtube или mail.ru, что позволяет делать киносайты «не отходя от кассы». Разумеется плееры для всех фильмов найти врятли получится, но, для каких-то найти все-же можно.
Нажимаем на Ok.ru и получаем список доступных нам проигрывателей.
Очевидно, что самым ревалентным является плеер, на который я указал стрелочкой. Нажимаем «добавить плеер», после чего ссылка на него окажется в соответствующем поле.
Результат
После публикации запись выглядит примерно так (все не влезает).
Плеер выглядит так, если у вас платная версия —
Покупка платной версии
c 6.11.17 плагин совершенно бесплатен. Качайте по ссылке выше.
Похожее
aftamat4ik.ru
MetaDone » MetaDone Automatic Parser Content — плагин для автоматического заполнения сайта на WordPress
Когда-то давно на досуге я хотел написать плагин-парсер для wordpress, но мне было слишком лень и я оставил эту идею до недавнего времени. И вот на днях дописал бета-версию плагина, позволяющего наполнять сайт автоматически из разных источников, как по ссылке на новостной поток, так и указанием rss-ленты. Результат работы плагина вы можете посмотреть здесь.
Наполнение сайта полностью автоматизировано, единственное что нужно сделать — указать источники, с которого будем копировать информацию, и указать соответствующие селекторы, очень похожие на селекторы, используемые в jquery.
Возможности плагина на данный момент:
- Настраиваемый период проверки сайтов-доноров
- Сохранение изображений с сайта-донора и их добавление в медиатеку WordPress
- Оффлайн-кросспостинг в группу VK с хештегами, соответствующими тегам записи
- Удаление ненужных элементов страницы
- Получение полноразмерных изображений на сайтах, использующих lightbox
- Получение ключевых слов и описания, а также их интеграция с плагином SEO Ultimate
- Импорт-экспорт списка источников контента стандартными средствами WordPress
- Автоматическое присвоение категорий и меток в соответствии с настройками источника
Как пользоваться плагином?
Нужно добавить источник контента и заполнить соответствующие поля:
После этого можно проверить, правильно ли вы настроили источник на странице «Parsing» в настройках плагина. Если все верно — то можете публиковать источник и плагин автоматически будет его обрабатывать.
Если вас интересует приобретение или есть пожелания и вопросы по плагину — напишите через форму на этой странице
metadone.ru
| WPGrabber - парсер/граббер для wordpress (VK, RSS, HTML, YouTube)
 Хочу представить вашему вниманию хороший плагин wordpress для парсинга или граббинга с групп Вконтакте, rss лент, простых html страниц и каналов с youtube на ваш сайт. Этот плагин для ворпресс очень просто, легок в настройке, а так же в нем стандартно есть ленты (примеры) с помощью которых вам останется только подредактировать их и начинать наполнять свой блог или портал. А самое главное у него нет привязки, а это значит что вы сможете открыть хоть миллион своих сайтов и зарабатывать на них. ОСНОВНЫЕ ВОЗМОЖНОСТИ ПЛАГИНА WPGRABBER:импорт контента в блог с любых HTML-сайтовимпорта контента в блог с любых RSS-потоковимпорт контента в блог со стен групп и сообществ соц. сети Вконтакте.рувозможность сохранения изображений из импортируемого текста у вас на серверевозможность перевода импортируемого контента на лету (поддержка более чем 20 языковых пар, функция двойного перевода для получения уникальных текстов)фильтрация сохраняемого у вас в блоге контента по словам, а также по наличию изображений в тексте.гибкие настройки обработки импортируемого текста (удаление из получаемого текста ненужных блоков информации, ссылок, картинок и т.д.)поддержка режима автоматической работы обновления информации с других сайтовинтеграция с WordPress (поддержка Custom Post Types, поддержка Post Status, генерация алиасов для URL'ов записей в режиме ЧПУ) ЗАЧЕМ МНЕ НУЖЕН ЭТОТ ПЛАГИН? Основная функция плагина конечно же наполнять ваш блог информацией с других сайтов. Однако учитывая весь функционал плагина можно предложить его использование для:наполнения СПЛОГОВ, ГС и любых других сайтов информацией с других сайтов, блогов, rss-потоков, стен вконтакте.ведения полнотекстовых новостных колонок у себя в блоге используя информацию с других сайтовсоздания локализованных версий сайтов при помощи встроенной системы перевода контента "на лету"создание информационных копий других сайтов По сути копипастить интересного с сайта автора больше нечего. Жалко конечно, что автор забросил дальнейшую разработку или поддержку модуля, говорит времени нет и т.п (оказывается он преподаватель, ну вот и до конца учебного года ничего интересного не будет). Для просмотра скрытого содержимого необходимо зарегистрироваться! ИнформацияПосетители, находящиеся в группе Гости, не могут оставлять комментарии к данной публикации. |
romanzaharov.ru
Универсальный парсер контента Datacol, WP UniParser
Представляю вашему вниманию универсальный парсер контента – Datacol. Вообще Datacol это больше чем просто парсер контента, Datacol это это универсальная программа для получения любых данных, доступных в Интернете.
Datacol это десктопная программа, написанная на C#. Программа умеет экспортировать сохраненные данные в формат CSV, Excel, файл импорта для таких CMS как DLE и WordPress, (а также фришные блоги на платформе wordpress.com).
Автор неплохой программист, так что с ним можно договориться про доработку программы, чтобы она могла экспортировать данный в другие форматы и CMS.
В программе Datacol можно создавать профили настроек, и комбинируя разные опции Datacol вы сможете запросто делать следующее:
- Парсер контента по списку URL;
Указываете список страниц, указываете — где находится контент, которые необходимо спасристь. Если у вас возникнут проблемы то в этом разделе, вы найдете всю необходимую информацию.
Далее приведу список того, что умеет делать данный парсер.
- Парсер выдачи поисковикых систе;
- Парсер SEO параметров сайтов с различных проверочных сервисов;
- Парсер Яндекс Маркета;
- Парсер email (можно парсить майлы блогов, для проведения рекламной акции или для организации обмена ссылками)
- Парсер контента по ключевым словам (можно спасить контент по определенную ключевику, потом залить эту инфу одним махом на фришный блог, а далее ловить переходы по этим ключам и лить трафик на тематическую партнерку)
- Проверка возраста сайта;
- Чекер индексации сайтов;
- Парсер объявлений;
- Парсер интернет магазинов;
- Парсер внешних и/или внутренних ссылок с сайта;
- Парсер прокси адресов;
- Парсер, позволяющий проверять позицию сайта по определенным запросам в поисковике;
- Парсер музыки, парсер картинок и других всевозможных файлов;
- Парсер форумов на любых движках;
- Парсер результатов работы Javascript.
- И много другого.
Как видете возможности очень полезные и весьма разнообразные, так что если у вас будет этот парсер, то вы сможете решить много вопросов, и сэкономить массу времени.
Парсер стоит 80$, если его покупать напрямую. Я являюсь дилером по продаже этого парсера контента, так что через меня вы можете купить Datacol за 65$. Если вы укажите что пришли с блога anokalintik.ru, то вам продадут Datacol со скидкой.
Купить парсер можно здесь.
Парсер-плагин для wordpress — WP UniParser
Итак, прошу любить и жаловать — WP UniParser – универсальный парсер контента в виде плагина под WordPress. Для начала, несколько слов об основных (и, на мой взгляд, действительно полезных) функциях парсера.
Во-первых, WP UniParser можно настроить для парсинга контента практически с любых сайтов. Таким образом, вам теперь не нужно искать отдельно парсер блогов, парсер статей, парсер RSS и т.д. Можно просто потратить 5-10 минут, чтобы настроить плагин для работы с любыми вебресурсами (в независимости от их верстки).
Во-вторых, WP UniParser умеет на лету автоматически переводить контент с помощью сервиса Google Translate. На данный момент поддерживается двухсторонний перевод с самых популярных языков: русский, английский, немецкий, французский, польский, чешский, украинский и болгарский. При необходимости автор обещает добавить любой нужный пользователю язык.
У плагина есть множество других полезных функций и настроек, о которых можно почитать на сайте автора универсального парсера. Там же можно найти ссылки на форумные темы с отзывами покупателей. Автор говорит, что больше всего было отзывов на серче (около 8-9), но тема была удалена модераторами из-за несоответствия правилам.
Теперь скажу о личных впечатлениях. Мне универсальный парсер положительно понравился. Конечно же, это далеко не единственный и не самый навороченный парсер контента. Тем не менее, сочетание цены, качества и функциональности очень приличное. Кроме того, по отзывам покупателей видно, что автор не бросает их в беде, если появляются какие-либо проблемы (или просто сложности) при использовании скрипта. Что касается индексации сайтов, наполненных парсером, то Гоша и Яша их кушают на ура (автора скидывал несколько примеров, если интересно – обращайтесь напрямую к нему).
И напоследок, об одном очень полезном дополнении к универсальному парсеру. Недавно автор разработал плагин, который называется WordPress-DLE конвертер. Название говорит само за себя. Скрипт позволяет экспортировать категории, посты из этих категорий, комментарии к этим постам и пользователей из базы данных блога на WordPress в базу данных сайта на DLE. По сути, в комплекте с WP UniParser данный плагин позволяет получить полноценный универсальный парсер для DLE.
Вот, наверное, и все, что я хотел сказать о WP UniParser. Теперь жду ваших комментариев и отзывов о продукте.
anokalintik.ru
Datacol универсальный парсер - Наполняем wordpress бесплатным контентом
Начну с того как использую Datacol
Этот Datacol парсер мне понадобился для реставрации старой доски объявлений, когда-то еще созданной на движке wr-board.
Первым делом Datacol может парсить по разнообразным шаблонам и все что угодно, но в моем случае предпочел запихнуть нужные мне урлы которые нужно спарсить и вытянуть части текста.
Да и правильно будет упомянуть что причиной реставрации сайта стало то, что сайт долгое время не индексируется Яндексом, так как нет премодерации и новые объявления попадают, а там и дубли и неуникальные тексты и непонятные размером.
Так вот главная задача спарсить только те страницы на которых более 500 символов текста, а мы знаем что именно чем больше текста тем приятнее индексирует Яндекс.
И так на денвере запустил доску объявлений на движке wordpress с плагином ads-wordpress, Datacol через XML-RPC запостил все спарсенные обьявы в доску.
Старый сайт распологался на старом домене и я решил поставить 301 редирект на новый домен с новыми объявами, точнее старыми но тщательно отобранными.
Ну и самый главный вопрос тем кто еще не понял как-же заработать много бабла с помощью этой программы.
Отвечаю: находите те ресурсы которые не в индексе Яндекса, но имеют уникальный контент, а таких очень много... к примеру блоги на blogspot... дальше мучайте свою фантазию...
В зависимости от ваших знаний в оптимизации сайтов решаете продавать ссылки, постовые или только контекстными способами и тизерами... монетизировать созданные темы.
В моем случае эта программа собрала армию сателлитов для продвижения моих СДЛ проектов статейными ссылками... такие страницы когда они размещаются на личных сайтах не жалко и продвигать постовыми и следить за их плотной индексацией...
Скринов программы не будет, потому что на сайте автора http://web-data-extractor.net/ есть и обучающее видео и миллион статей что и как делать... даже тугодуму понравится что там и как.
Очень вкусным саму прогу делает не только ее цена в 90$? но и то что она постоянно дорабатывается и создаются новые плагины... такие как «Массовый постинг в блоги на wordpress.com, blogspot.com и livejournal.com», «Уникализация контента», «парсинг Vkontakte»
Если вы хотите скидку в 15$ от меня, то покупать тут в итоге будет стоить 75$Ну и если не через меня, то покупай тут за 90$
Но перед тем как купить заюзай демку http://web-data-extractor.net/last-release/DatacolSetup.msi
Да и что вообще может этот чудо софт:
- контента по списку URL;
- выдачи поисковиков;
- SEO параметров сайтов с различных сервисов для их проверки;
- Яндекс Маркета;
- email;
- контент по ключевикам;
- Проверка возраста сайта;
- Vkontakte;
- Экспорт в WordPress;
- Чекер индексации сайтов;
- Парс объявлений;
- Интернет магазинов;
- Внешних и/или внутренних ссылок с сайта;
- Прокси адресов;
- Позволяющий проверять позицию сайта по определенным запросам в поисковике;
- Музыки, парсер картинок и других всевозможных файлов;
- Форумов на любых движках;
- Результатов работы Javascript.
Так-же я успел посмотреть отзывы других блоггеров которые то-же сказали немаловажные выводы, к примеру http://hyperseo.ru/?p=4233 «выгодней приобрести Datacol, чем тратить время или деньги на написание парсера для каждого конкретного случая.» я всеми руками за.
И вот эта цитата «Посчитайте, сколько мы тратим драгоценного времени на всякую рутинную нудятину и умножьте все это на отложенные в долгий ящик «проекты».» http://mikkilan.ru/glavnaj/parser-datacool/ прям в точку.
wlad2.ru
WP Comments Parser | WordPress.org
This simple plugin helps the WP website admins retrieve the comments regarding their rental property from Tripadvisor, input them with a shortcode or display them through a widget on their website.
This comment parser plugin is perfect if you:
Have a page regarding your hotel/rooms for rent on the Tripadvisor websiteHave lots of comments thereLaunch your personal business website for your hotel/rooms for rentWant the comments from your Tripadvisor page to be shown on your website
For automatic installation:
The simplest way to install is to click on ‘Plugins’ then ‘Add’ and type ‘WP Comment Parser’ in the search field of your website admin panel.
For manual installation 1:
- Login to your website and go to the Plugins section of your admin panel.
- Click the «Add New» button.
- Under Install Plugins, click the Upload button.
- Select the plugin zip file (wp-comment-parser.x.x.x.zip) from your computer then click the «Install Now» button.
- You should see a message stating that the plugin was installed successfully.
- Click the Activate Plugin button.
For manual installation 2:
- You should have access to the server where WordPress is installed. If you don’t, contact your system administrator.
- Copy the plugin zip file (wp-comment-parser.x.x.x.zip) to your server and unzip it in some subdirectory.
- Copy the «WP Comment Parser» folder into the /wp-content/plugins directory of your WordPress installation.
- Login to your website and go to the Plugins section of your admin panel.
- Look for «WP Comment Parser» and click Activate.
Configuration and usage instruction:
- After installing and activating the plugin, there will be a new menu item titled “Comment Parser”.
- Go to the “Comment Parser” section. You will get the plugin menu with just one text field. Enter the URL address of your page on the tripadvisor site, from which you need to retrieve the comments
- Enter the address in such a format https://www.tripadvisor.// and click the ‘Retrieve comments’ button. For example — https://www.tripadvisor.ru/Hotel_Review-g298484-d3539390-Reviews-Khoroshevskaya-Moscow_Central_Russia.html
- You will receive a short code that you can insert into the Visual Editor.
- In the Widgets section you will be able to access a new widget — which, like the short code, will import comments from the Tripadvisor to your website.
For automatic installation:
The simplest way to install is to click on ‘Plugins’ then ‘Add’ and type ‘WP Comment Parser’ in the search field of your website admin panel.
For manual installation 1:
- Login to your website and go to the Plugins section of your admin panel.
- Click the «Add New» button.
- Under Install Plugins, click the Upload button.
- Select the plugin zip file (wp-comment-parser.x.x.x.zip) from your computer then click the «Install Now» button.
- You should see a message stating that the plugin was installed successfully.
- Click the Activate Plugin button.
For manual installation 2:
- You should have access to the server where WordPress is installed. If you don’t, contact your system administrator.
- Copy the plugin zip file (wp-comment-parser.x.x.x.zip) to your server and unzip it in some subdirectory.
- Copy the «WP Comment Parser» folder into the /wp-content/plugins directory of your WordPress installation.
- Login to your website and go to the Plugins section of your admin panel.
- Look for «WP Comment Parser» and click Activate.
Configuration and usage instruction:
- After installing and activating the plugin, there will be a new menu item titled “Comment Parser”.
- Go to the “Comment Parser” section. You will get the plugin menu with just one text field. Enter the URL address of your page on the tripadvisor site, from which you need to retrieve the comments
- Enter the address in such a format https://www.tripadvisor.// and click the ‘Retrieve comments’ button. For example — https://www.tripadvisor.ru/Hotel_Review-g298484-d3539390-Reviews-Khoroshevskaya-Moscow_Central_Russia.html
- You will receive a short code that you can insert into the Visual Editor.
- In the Widgets section you will be able to access a new widget — which, like the short code, will import comments from the Tripadvisor to your website.
«WP Comments Parser» — проект с открытым исходным кодом. В развитие плагина внесли свой вклад следующие уч
ru.wordpress.org
