Как спарсить аудиторию в telegram

Парсинг telegram каналов для агрегатора контента на PHP

Несколько лет назад я начал разрабатывать свой агрегатор контента, что бы упростить свой серфинг в сети. Изначально я парсил только rss, vk и facebook, но в прошлом году решил сделать полный рефакторинг проекта: отказаться от парсинга на клиенте, сделать нормальный back-end, использовать базу данных для хранения данных и расширить список поддерживаемых ресурсов.

Помимо стандартного набора из rss, fb, vk, twitter, instagram, youtube я добавил поддержку произвольных открытых каналов из telegram.

Под катом пошаговая инструкция, как парсить любые каналы в telegram ~~без регистрации и смс~~.

[UPDATE 2019-03-12]
Мой новый пост про парсинг телеграм каналов: habr.com/ru/post/354000. Более качественный код, микросервисы с открытым исходным кодом и новый публичный сервер для тестов.

Изначально я предполагал, что парсить каналы можно через популярный BotApi, на который имелось много инструкций в сети. Но оказалось, что для того, что бы бот мог читать какой-то канал — бота надо в этот канал добавить. Для сторонних каналов этот вариант не возможен. Я перешел к чтению мануалов на основной API телеграма.

Через 30 минут изучения документации я был в отчаянии. Все данные у телеграма шифруются, что бы получить что то от их серверов нужно обладать степенью магистра по криптографии… А еще вместо http запросов используется socket, с которым я ранее не сталкивался. Вообщем чистый хардкор и никаких внятных примеров в сети… Это было почти фиаско.

Последней надеждой было найти какое-то готовое решение. И тут, наконец, удача мне улыбнулась. На сайте telegram я наткнулся на ссылку на неофициальный opensource php клиент. Да-да! Можно использовать telegram под php, и там даже есть поддержка звонков! Это чудо называется madelineProto. Оно может подключаться к серверам используя криптографическую магию и отдавать нужные мне данные в виде нормального, человеческого ассоциативного массива.

Я приступил к настройке php клиента.

1. Регистрация своего клиента.

К сожалению, в начале поста я вас обманул и нам всеже потребуется регистрация и смс авторизация в телеграме…

Если аккаунт в телеграме уже есть, остается зарегистрировать свое приложение/клиент, и получить ключи для доступа к серверам telegram.

Это стандартная процедура, похожая на аналогичную у соц. сетей для доступа к API. Инструкция для создания своих ключей.

После регистрации клиента нам потребуются только «App api_id» и «App api_hash» со страницы my.telegram.org/apps

2. Установка madelineProto.

Для работы требуется php7, но в Readme написано, что есть способ запустить на php5.6.

С запуском на MacOs с php7 из пакета Mamp, и простеньком хостинге за 150 руб в мес проблем не возникло.

Процесс не хитрый: скачать релиз, установить зависимости через composer и можно приступать к настройке.

Для уменьшения размера я удалил лишние зависимости и оставил только danog, paragonie и phpseclib. На работе клиента это никак не сказалось.

3. Настройка madelineProto и первый запуск.

Все примеры по использованию и настройке описаны в репозитории клиента, но я приведу свой код с комментариями.

На этом этапе потребуется авторизовать новое подключение и ввести код верификации, который придет в ранее авторизованный telegram клиент. Запускать код желательно из консоли (но есть и веб режим). Если настраиваете клиент для другого человека, то нельзя пересылать код авторизации через telegram, иначе он будет аннулирован. Но можно пересылать его в виде скриншота или писать текстом.

Количество авторизаций, которые можно запросить, ограничено. Если что-то не срабатывает — не стоит много раз подряд запускать код, иначе Телеграм заблокирует отправку подтверждений на сутки или более.

Я, к сожалению, узнал об этой особенности на своей шкуре. Обычной тех. поддержки у телеграма, кстати, тоже нет, так что в случае блокировки придется ждать 🙂

В корне проекта будут создан файл «session.madeline», в котором, в бинарном виде, будут храниться данные нашей сессии. При повторном запуске авторизовываться заново не придется. Возобновление сессии работает довольно быстро. У меня на инициализацию клиента уходит около 800 мс на зарубежном сервере.

Для обновления настроек достаточно обновить массив и перезапустить скрипт. Удалять файл сессии не требуется.

4. Получение постов из произвольного открытого telegram канала.

Так как у меня обновляется много каналов за один раз, то имеет смысл использовать одну и туже сессию, а не тратить по 2 секунды на каждый канал.

После выполнения мы получаем массив с нужным нам количеством сообщений/постов, разбитых по каналам. Так же передаются данные о медиа-вложениях.

Дальше остается сохранить текст поста, при наличии фото/видео получить превью и подпись к медиа файлу и сформировать ссылку для просмотра поста.

4. Получение медиа-вложений.

К счастью, с недавнего времени, telegram внедрил html превью постов, поэтому можно не сохранять на свой сервер бинарные данные, полученные из клиента, а просто взять ссылку на фото и видео, хранящееся на серверах телеграма.

Ну а дальше все просто:

На этом парсинг закончен и можно сохранять посты в базу или вывести на странице.

Надеюсь, что мой первый пост будет кому нибудь полезен. Ссылку на свой агрегатор не оставляю, так как не уверен, разрешено ли это.

Телеграм парсеры – быстрый сбор информации об аудитории

П арсеры появились в мире интернета для того, чтобы автоматизировать долгие рутинные процессы по сбору информации. Первыми я застал парсеры электронных ящиков, а воспользовался – парсерами Instagram-аккаунтов .

Сейчас на первый план выходит Телеграм и разработчики программного обеспечения позаботились о том, чтобы парсеры появились и тут.

Парсеры Телеграм, как я уже упоминал выше, существуют для автоматизации сбора информации. В мессенджере собирают ссылки на профили, группы и каналы.

Цели бывают разными:

спам;
информирование клиентов;
инвайтинг (приглашение участников по логинам, без их предварительного предупреждения. Это запрещено, можно получить блокировку аккаунта).

Рассылки тоже не приветствуются: любой может поставить на них отметку "Спам" и модераторы Telegram примут меры. Варианта два:

временная блокировка возможности отправлять сообщения вне списка контактов;
постоянная блокировка возможности входа в текущий аккаунт.

��‍♀️ Несмотря на возможные ограничения и запреты, бизнес и администраторы используют парсинг в своих целях. Существуют способы обхода ограничений, среди которых организация сети аккаунтов. С них осуществляются все запрещенные мессенджером действия.

Парсить можно через онлайн-сервисы, скрипты, боты и программное обеспечение. Принципиальной разницы между ними нет, ограничений в пропускной способности тоже. Функционально могут отличаться. Как правило, боты и программы для ПК устроены сложнее и имеют более широкий функционал, объединяющий в себе множество способов парсинга.

Сервисы и скрипты могут предложить парсинг:

групп;
контактов;
чатов.

Парсить можно по ключевым словам, логинам и ссылкам. Для воспроизведения парсинга нужен сервер, который предоставляется внешними ресурсами либо сервисом парсинга.

Парсеры делают под заказ у разработчиков. Они адаптируют их под цели клиента, наполняют нужной функциональностью. Такой подход необходим в том случае, когда задачи большого масштаба.

Рядовым пользователям, желающим использовать функционал для решения небольших и средних задач подойдут доступные парсеры в сети. Я проанализировал ряд из них и выбрать наиболее качественные и выгодные ��.

Сервисы

Сегодня парсеры существуют в виде сервисов и ботов. Для Telegram их не так много, функциональность не сильно отличается, а цена нередко завышена. Если использовать парсер для решения простых, распространенных задач, подойдет готовый вариант.

Для тех, кому функциональности общедоступных парсеров мало, стоит задуматься о разработке собственной программы или бота, своими руками или с помощью специалистов на биржах фриланса. Одноразовая задача может быть решена с помощью услуг фрилансеров, занимающихся парсингом.

Telegram Soft

Комплексная программа для продвижения с кучей инструментов. В функционал входит парсер Телеграм. Среди прочего включает рассылки, инвайтинг и накрутки. Работает в веб-интерфейсе.

Сейчас поддерживает парсинг в группах. Парсит логины, фильтрует их и исключает ботов. Выполняет задачи за несколько секунд.

Цены : существует 3 варианта лицензий: демо (на 5 часов) – 500 руб., на месяц – 7450 руб., безлимит (навсегда) – 14 950 руб.

Telecobra

Не только парсер, но и профессиональный софт для комплексного продвижения в Telegram с использованием собранных данных.

Собирает из чатов и групп пользователей, учитывая разные критерии:

ID;
бот или нет;
имя;
фамилия;
логин;
язык;
статус;
активность.

Условием получения полной информации является условие: сбор должен осуществляться с аккаунта администратора. Собранные данные можно использовать или сохранить в текстовом или табличном формате.

Цены : лицензия на месяц обойдется в 3 645 руб., но программу можно выкупить за 18 645 руб.

A-Parser

Агрегатор множества парсеров в социальных сетях, интернет-магазинах и поисковиках. Умеет парсить из Телеграм, но только в группах.

Соберет ссылки на сообщения, имена их авторов, ссылки на профиль и аватар. Выгрузит содержимое сообщений и дату, включая ссылки на фото и видео.

Лицензия стоит от 15 000 рублей на пожизненную лицензию с доступом к парсеру Telegram. Обновления будут приходить первые полгода, потом за них придется платить отдельно.

Telereg

Программа изначально предназначена для автоматической регистрации аккаунтов в мессенджере, однако в платной версии присутствует парсер. Он включает в себя сбор пользователей из открытых групп.

Разработчики постоянно поддерживают программу обновлениями, регулярно изменяя, дополняя и улучшая функционал.

Telecobrabot

Telecobrabot — бесплатный бот мультипарсинга в Телеграм. Поддерживает все типы ссылок. Результат парсинга сохраняется в csv файл.

всех участников группы;
активных (все, кто в данный момент онлайн);
неактивных (все, кто в данный момент оффлайн);
админов.

Помимо участников группы, бот умеет парсить сообщения.

�� Для тех, кто хочет перелить аудиторию из группы себе в канал есть IPO модуль.

ParserFree2Bot

Бесплатный бот-парсер, работающий только с группами. Для парсинга нужно просто вставить ссылку на нужную группу. Процесс занимает секунды, ждать долго не приходится.

всех участников группы;
активных;
неактивных.

Использование полностью бесплатное, но есть реклама. Для использования обязательна подписка на спонсора.

Парсинг под заказ

Среди фрилансеров обязательно есть специалисты в Telegram API. В случае необходимости использования сбора данных одноразово, они могут помочь за небольшую плату.

��‍♀️ В зависимости от сложности исполнители указывают разную стоимость. Например, для решения простой задачи ценник будет 500 руб., а парсинг контента с видео, фото и аудио поднимает стоимость до 1500 руб.

Разработка

Парсер можно разработать самому или заказать у разработчиков на фрилансе. Первый вариант подходит тем, кто хоть немного понимает в программировании, в частности — в PHP или Python . Перед началом изучите документацию Telegram API .

Заказать разработку парсера можно начиная с 500 руб., но стоит учитывать особенности низкой цены. За 500 руб. можно получить элементарный парсер, на который проще найти готовый код в интернете, а уже за 2000 руб. — программу с графическим интерфейсом и минимальным набором функций.

Парсер Telegram — все сервисы и боты для парсинга каналов и чатов

Последние несколько лет занимаюсь маркетингом. Помогаю агентствам с контентом и seo-продвижением, управляю 4 нишевыми сообществами в соцсетях, .

Парсеры Telegram – это специальные программы для сбора и обработки данных каналов, чатов, публикаций, пользователей по заданным параметрам и накрутки активности.

Мессенджером Телеграм пользуются миллионы людей, в нем ведутся сотни тысяч каналов. Для отслеживания упоминаний тега либо поиска контактов участников вручную, потребуется несколько месяцев. Чтобы автоматизировать такие длительные и рутинные процессы, прибегают к помощи парсеров.

Обещанный платеж
Единый кабинет и пополнение без комиссий
Автоматизация, создание и ведение рекламных кампаний во всех сетях
Настроим рекламу с нуля в Яндекс.Директ, myTarget, VK, TikTok и других сетях
Наглядная статистика, Автопостинг и Автопополнение

Собирают информацию из каналов и чатов в следующих целях:

рассылки спама;
организации ссылок;
приглашения пользователей по логину без их предупреждения.

За подобные действия можно получить бан, но администраторы групп и владельцы бизнеса продолжают парсить данные в Телеграме для разных целей, потому что есть работающие способы, как обойти наказание.

Профессиональные парсеры либо создают собственные программы для сбора информации, либо заказывают их у разработчиков. Это нужно для того, чтобы создать ПО под конкретные задачи специалиста и добавить туда все необходимые функции. Пользователям с небольшими и средними задачами хватит парсеров со стандартными опциями.

Где искать парсеры

Сегодня программ для сбора данных Телеграма не так много. Найти качественные среди них крайне трудно. Поискать парсеры можно:

на тематических форумах или сайтах;
введя слово “парсер” или “parser” в поисковой строке Telegram – таким образом вы найдете группы парсеров в мессенджере:

Вам не нужно искать качественные парсеры самостоятельно. Мы проанализировали все сервисы и боты для парсинга каналов и чатов Telegram, создание которых не нужно заказывать, и предлагаем лучшие из них.

A-Parser.com

Еще один универсальный парсер, собирающий изображения, ссылки, текст, поисковики, сервисы, видеофайлы и ключевые слова с изобилия площадок. Это агрегатор огромного количества парсеров в интернет-магазинах, поисковых системах и социальных сетях. Содержит приблизительно 50 самых разных многопоточных парсеров, среди которых и предназначенный для мессенджера Телеграм. Умеет парсить исключительно в группах.

С его помощью можно выгрузить ссылки на сообщения и имена пользователей, которые их писали. Также осуществляет сбор ссылок на аватары и аккаунты. Есть возможность спарсить дату и содержимое сообщений, в том числе ссылки на вложения – видеоролики и фотографии.

Чтобы начать работать с сервисом, необходимо выбрать версию, подходящую под операционную систему вашего компьютера. Далее покупаете лицензию. Только после этого вы сможете начать настраивать прокси, указывать источники и добавлять задания.

Telereg.ru

Изначально сервис разрабатывался для того, чтобы пользователи применяли его для автоматической регистрации профилей в Телеграм, но есть и платная версия, где кроме этого доступны функции инвайтинга, спаминга и, в том числе, парсинга аккаунтов. Инструмент может собирать информацию о пользователях из открытых каналов.

Программа постоянно обновляется и дополняется полезными изменениями. Разработчики не перестают улучшать функционал.

Список аккаунтов можно сохранить в текстовом формате, а в Excel-таблицу сохраняются списки профилей со временем их последнего входа. Программа Telereg также работает с MTPROTO и прокси.

Не рекомендуем

Ранее эти сервисы мы добавили в этот материал. Но на практике читатели их не советуют. Поэтому мы не рекомендуем их использовать. Вы пробуете их на свой страх и риск.

Telegram-Soft.org

Программа универсальная, и содержит большое количество инструментов, не только парсинг Телеграма. Вдобавок имеются функции инвайтинга, накрутки и рассылки.

На сегодняшний день сервис может предложить парсер аудитории. Пользователю доступен сбор аудитории с любых каналов и чатов Telegram. Собираются логины и отфильтровываются базы, за счет чего привлекаются только живые посетители, исключая ботов. С поставленными задачами сервис справляется быстро – всего за несколько секунд.

Парсер каналов работает и с приватными ссылками: вводите количество необходимых групп, а в фильтре, находящемся справа, указываете интересующие параметры пользователей, к примеру, самые активные. С помощью парсера по активности программа проверяет только по участникам, которые писали сообщения за определенный промежуток времени.

Функционирует сервис в веб-интерфейсе. Разработчики предлагают 3 тарифных лицензии:

Демо – на 5 часов.
На месяц.
Безлимит – навсегда.

Telecobra.ru

Специализированный сервис, который используют для раскрутки канала в Телеграме. Программа создана в 2017 году. Работает со всеми версиями операционной системы Windows, в числе которых и XP.

Телекобра занимается сбором информации из каналов и чатов пользователей, основываясь на следующих показателях:

бот или живой пользователь;
имя и фамилия;
логин пользователя;
ID;
статус;
активность;
язык.

С помощью софта вы сможете организовать рассылку в личные сообщения, выгрузить контактные номера, отправить инвайты и накрутить просмотры постов. Предлагается бот ферма для создания группы с накрученными подписчиками.

Чтобы получить всю необходимую информацию, парсинг следует делать с профиля администратора. Данные, которые будут выгружены в программе, допускается сохранять в виде таблицы или текста.

Есть два варианта оплаты для использования сервиса:

Купить лицензию на месяц.
Выкупить программу для пожизненного использования и безлимитного доступа ко всем инструментам.

Чтобы начать работать с парсером, на главной странице сайта необходимо скачать последнюю версию программы, хранящуюся на Яндекс.Диске. Распаковываете архив и запускаете доступные инструменты. Затем следует приобрести лицензию или купить программу, указав свои персональные данные и промо-код, если он у вас есть.

В отличие от всех остальных парсеров, у ботов более обширный функционал. Они способны отвечать на сообщения, вставлять собранные из интернета изображения, делать накрутку и так далее. Самые примитивные боты могут отвечать на разные вопросы одной и той же фразой.

Боты-парсеры умеют анализировать и понимать сообщения. Они работают за счет аналитического алгоритма, с помощью которого подбирают необходимый ответ на фразу живого человека.

Боты следят за публикациями, и, учитывая определенные параметры, репостят их. За счет парсинга чата они заполняют его материалами, которые нашли и скопировали из другого источника.

1. @ParserFree2Bot

Бесплатный бот, занимающийся парсингом данных с Телеграм-каналов. Чтобы начать собирать информацию, скопируйте ссылку в интересующую вас группу. ParserFree2Bot соберет:

всех подписанных пользователей канала;
активных и неактивных участников.

Хотя бот доступен для бесплатного использования, тут присутствует реклама. Чтобы начать пользоваться, необходимо подписаться на спонсора.

Большой минус ботов-парсеров в том, что свободных вариантов здесь мало, так как их создают для конкретных целей. Вы можете поискать обычных ботов в поиске мессенджера, как мы писали выше в статье, и ознакомиться с предложениями разработчиков.

Но для более сложных задач придется написать бот самостоятельно – для этого нужны знания в программировании, либо заказать у фрилансеров или на специализированных сайтах.

Заключение

Парсить Telegram-каналы крайне необходимо, если вы хотите собрать масштабную целевую аудиторию. Но вы должны четко определиться, какие именно данные вам важно собирать: контент, информацию об участниках групп, активность и прочее. Это позволит вам избежать лишних расходов на ненужную информацию, которая не принесет вам никакой пользы. Следует знать, под какую задачу какие сервисы и боты применять.

Парсеры Телеграма – прекрасные инструменты, существенно экономящие время на самостоятельный сбор данных. Вручную заниматься парсингом каналов и чатов трудно, долго и неэффективно. Вы можете воспользоваться готовыми сервисами, а можете заказать создание парсера у специалиста.

Но будьте осторожны и проверяйте источники, потому что недобросовестные создатели программ могут запросто получить доступ к персональным данным и использовать их в своих целях.

Поделитесь статьей с друзьями и коллегами

Отзыв по telecobra.ru. Купил лицензию на месяц, третий день от них нет логина и пароля для входа в программу. В переписке с ними от них игнор, отвечают после оплаты раз два в день. Я пожалел , что подчерпнул информации с вашего сайта, доверился вашей статье и воспользовался услугой сайта telecobra.

ВНИМАНИЕ ЧИТАТЕЛЯМ.
Хочу оспорить рейтинг статьи. И авторам очень советую исключить первый пункт из списка вообще.

Мой реальный опыт использования telegram soft org (именно орговский, есть другие софты)

Есть 3 варианта: на месяц 7+ тысяч, демо на несколько часов (500 р) и пожизненная версия (14+ к).

Опыт демо: тебе вместе с ключом выдают 4 аккаунта, чтобы ты мог потестить варианты. Скажу: прога работает вообще без нареканий, кто ее сделал — гении. Реально собирает живых людей, реально инвайтит в группы. Кстати, не советую превышать дефолтные лимиты (1 человек в 2-4 секунды приглашать, иначе Телеграмм уже через 3 попытки "съест" аккаунт).

Но гениальное изобретение сгубило человеческое быдло.

1) Я решила, все как по инструкции, проверить прокси и реально ли акки действующие. В итоге из выданных мне 3 были заблокированы еще до использования (предварительная проверка показала). Ну норм, подумала я и протестила программу с 1 аккаунтом.

Ну с кем не бывает и загорелась идеей купить пожизненную версию (а это, на минутку,

Первый звоночек — я написала по поводу бракованных акков (которые в будущем предполагается покупать в их магазине, дабы не ждать отлежки своих и не регать их вручную). Тишина, меня проигнорили. Дело было под новый год, и я опять простила, списав на то, что они ушли на покой.

2) Зашла на сайт и написала в чат. Там появилась опция добавить телефон и почту при обращении, чтобы ничто не потерялось и ответ точно пришел. Ну ок. Главный вопрос для меня был в сменяемости аккаунтов. Допустим, заблокировали его, и чтобы из пула купленных мной автоматически подставился другой и работа программы шла.

Но тишина. Жду несколько дней, потом я решила еще задать вопрос относительно возврата, все-таки деньги за прогу не маленькие.

Теперь самые интересное. "Оператор подключился к чату". Сообщения мои читают, но не отвечают. В конце концов я изъявила надежду, что мои сообщения будут не только читать, но еще и отвечать на них.

Теперь цитата: "Родная, ты еще ничего не купила, а уже что-то предъявляешь. Желаю тебе пойти нахуй" — и чат исчезает с сайта.

. а если бы купила.

О этот бессмысленный русский бизнес с русским быдлом. Потеряете деньги, ребята.
________________________________
Девушке: Елена, я смотрю, тут не я одна недовольная вашими рекомендациями. Вы хоть, блин, проверяйте, что рекомендуете.

Парсер

Собирать аудиторию из групп (чатов) можно как по статусу пользователей, т.е. времени последнего захода в сеть, так и по активности в группе, т.е. только тех, кто пишет в ней, а не просто состоит.

По статусу

Время онлайна аудитории: дни/часы. Перемещением бегунка можно регулировать значения.

Аудитория

Устанавливаем соответствующую галочку в зависимости от целей.

Включить скрытые статусы

Довольно большой процент пользователей в настройках конфиденциальности скрывает время своего последнего онлайна. При наличии галочки напротив необходимого значения софт будет собирать и пользователей, чьё время онлайна скрыто:

Пример сбора аудитории, которая была в сети в течение последних 7 дней:

По активности

Данный метод позволяет собрать всех пользователей, кто писал в чат последние N сообщений.
Пример: вводим в поле «Сколько сообщений проверить — 3000» — тогда программа отсчитает 3000 последних сообщений в чате и соберет в список всех людей, писавших за данный период.

Формат ввода ссылок

Допускается одновременный ввод ссылок разных типов (например, строки с «@» и тут же строки с t.me/..)

Парсинг по кнопке «Обсудить»

Многие каналы имеют прикрепленную группу для обсуждений, попасть в которую можно по кнопке «Обсудить» (она, в случае наличия, появляется сразу после подписки на канал).

С таких групп можно спарсить участников и без наличия ссылки.

Разберем на примере канала @telesmmru

Шаг 1. Берем первый в списке аккаунт из софта (первый, потому что в дальнейшем парсить будет именно он), авторизуем его в Telegram Desktop и подписываемся на канал, в нашем случае это @telesmmru.

Шаг 2. Кликаем по кнопке «Обсудить:

Шаг 3. Жмем на «Присоединиться к группе» и копируем её название:

Шаг 4. В софте вставляем его в окно для ввода списка групп и жмем на «Начать»:

Результат:

Таким образом мы спарсили группу, не зная ссылки на неё.

Парсинг без ссылки на группу

Без ссылки спарсить группу можно только если аккаунт в ней состоит. Для этого необходимо авторизовать такой аккаунт в программу и ввести точное название группы вместо ссылки (см. шаг 4 предыдущего способа)

Инструкция по рассылки без юзернеймов — тут
Инструкция по инвайтингу без юзернеймов — тут.

Где искать группы для парсинга

Открываем Google, лучше всего в браузере Opera со включенным VPN (так удобнее работать с Telegram-ссылками, потому как они заблокированы в РФ), и вводим в строку поиска: site:t.me бизнес чат

Вместо бизнес — укажите необходимое вам ключевое слово

Чаще всего Google будет выдавать всего 2 результата.
Нужно прокрутить страницу вниз и нажать на «Показать скрытые результаты»:

После этого вам будет с чем поработать:

Искать хорошее автоматизированное решение по поиску групп — не имеет особого смысла, потому как результат в случае не ручной выборки будет содержать слишком много «мусора».