Что нового?

Продам Tweets-Parser - парсер постов из Twitter (качает тексты, фото, видео, сохраняет твиты в JSON)

webguru

Пользователь
Регистрация
14 Янв 2017
Сообщения
18
Реакции
0
Возраст
46
Coin
2
Всем привет!

Многие люди далекие от Twitter зачастую полагают что это какая-то совсем экзотическая соцсеть в которой ничего интересного нет. Но это не совсем так, а точнее сказать совсем не так! Как и в любой другой социальной сети там есть огромное количество разного рода тематических аккаунтов (пабликов) с регулярно обновляющимся интересным контентом (тесты, фото, видео в разных сочетаниях). Именно этот контент и представляет для нас большой интерес т.к позволяет наполнять им свои аккаунты/сообщества в любых соцсетях, включая свои аккаунты в том же Twitter.
Вот вам несколько примеров таких пабликов:
https://twitter.com/HistoryFoto
https://twitter.com/Telki_i_Tachki
https://twitter.com/Krasoti_Rossii
https://twitter.com/PisateliFilosof
С недавних пор Twitter в РФ заблокирован т.ч RU-пользователям для просмотра вышеуказанных ссылок потребуется прокси/vpn.
Таких аккаунтов очень много и все они являются отличным источником готового контента для копирования в любые соцсети или сайты. Но особенно много интересных пабликов в буржуйнете т.к там популярность Twitter очень и очень высока. То есть это отличный источник контента на совершенно разных языках.

Теперь вопрос: как же нам на постоянной основе парсить (выкачивать целиком или частично) популярные твиты из интересующих нас аккаунтов? Думаю Вы уже догадались - с помощью данного шаблона для программы ZennoPoster.

Tweets-Parser - это шаблон для программы ZennoPoster, который парсит посты (твиты) из указанных аккаунтов Twitter по заданным критериям, позволяющий полностью или частично выкачивать эти самые твиты. Для особо продвинутых пользователей так же есть функции позволяющие создать для каждого твита файл tweet.json и/или делать HTTP POST запросы на указанный URL с передачей данных твита так же в формате JSON ... но об этом чуть позже.

Шаблон работает на основе Excel файла заданий в котором указывается откуда парсим и задаем критерии для отбора нужных нам твитов

Lanjv-JIhGU.jpg


Что конкретно сохранять указывается во входных настройках

MMUziQi1vwY.jpg


В результате у вас на ПК будут папки со скаченными твитами

woouTt_tvZc.jpg


А так же Excel-файл с параметрами и текстами (без медиа), если включена соответствующая настройка

-j7cmrCCaEk.jpg


* Для постоянного сбора новых твитов удовлетворяющих заданным критериям запуск шаблона настраивается через расписание в ZennoPoster. Ведутся списки уже ранее сохраненных твитов по каждому твиттер-аккаунту т.ч повторно твиты не сохраняются.

* Шаблон гибридный. Он загружает аккаунт который парсит в браузере без отображения содержимого, но сами твиты получает через POST/GET запросы, а не путем бесконечного скролла в браузере (в превью инстаеса видно что ничего не скролится). Это очень сильно ускоряет парсинг и избавляет от подвисаний браузера.

* Поддерживается многопоток и прокси, НО я рекомендую работать в 1 поток и с паузами между парсингом разных аккаунтов ... в таком случае прокси в большинстве случаев не нужны.

* Для парсинга не нужны аккаунты Twitter ( твиттер позволяет загрузить только последние 800 твитов и это количество никак не меняется для залогиненных аккаунтов )

Функции для продвинутых пользователей

1) В шаблоне есть настройка позволяющая для каждого скаченного твита записать файл tweet.json, который содержит полные данные твита в формте JSON. В этом файле помимо текста и счетчиков содержатся так же прямые ссылки на фото и видео на серверах Twitter.

Этот файл имеет такой формат:

W58S9pMB_B0.jpg


2) Есть функция позволяющая при каждом нахождении твита удовлетворяющего заданным вами критериям делать HTTP POST запрос на указанный вами URL и передавать в переменной tweet такой же JSON как указан выше. Далее вы можете его например сразу сохранять к себе в базу данных с которой работает ваш софт или же сразу выводить к себе на сайт или .... на что хватит вашей фантазии.

На каких версиях ZennoPoster работает

Я тестировал на 7.31 и 7.6.0, возможно работает и на более младших версиях 7-ки.
Шаблон имеет расширение .zp так что в пятом зеннопостере уже не откроется.

Цена:

1 месяц - 550 руб (экономия 0 руб)
3 месяца - 1500 (получается 500/месяц, экономия 150 руб)
6 месяцев - 2700 (получается 450/месяц, экономия 600 руб)
12 месяцев - 4800 (получается 400 руб/месяц, экономия 1800 руб )

Оплата на карту Сбера ( на крайний случай крипта )

DEMO-версия

Вы можете скачать DEMO версию прямо сейчас и убедиться в работоспособности шаблона:

СКАЧАТЬ ДЕМО-ВЕРСИЮ

Инструкция по настройка внутри архива - файл instruction.doc

Ограничения DEMO:
- Работает 3 часа с момента первого запуска в ZennoPoster
- Глубина сканирования ограничена 25 последними твитами для каждого сканируемого аккаунта
- Сохраняет лишь 10 отобранных по критериям твитов для каждого сканируемого акккаунта

Если у вас нет ZennoPoster, но хочется использовать шаблон

В этом случае можно сделать так называемый ZennoBox, который позволит вам запускать только купленные вами шаблоны.
За каждую выписку шаблона в ZennoBox необходимо заплатить ZennoLab-у (разработчикам zennoposter) разовый платеж в $10, который естественно перекладываются на конечного покупателя т.е на вас. Эти $10 прибавляются к стоимости шаблона.

Контакты

Telegram: https://t.me/volkovguru
Email: [email protected]
 
Последнее редактирование:
Всем привет.

Во входные нараметры шаблона добавлена настройка "HTTP(S) Proxy для доступа к серверу лицензий". Если по какой-либо причине на вашем ПК на котором крутиться шаблон нет доступа к серверу лицензий и соответственно шаблон не может проверить лицензию, то вы можете воспользоваться данной настройкой указав там HTTP(S) Proxy через которую сайт доступен. Данная прокси используется исключительно при проверке лицензии и никак не влияет на ваши аккаунты (у которых могут быть свои прокси). SOCKS прокси в данной настройке не поддерживаются, только HTTP(S).

Формат записи прокси:
Код:
login:password@host:port
 
Сверху Снизу