Telegram. Безлимитный сетевой диск. Бесплатный
Наверняка многие об этом задумывались, возможно у кого то эта идея лежит в TODO. У меня она пролежала примерно год, но таки удалось ее реализовать в виде работающего прототипа.
TgCloud:
- Виртуальная файловая система с открытым исходным г****кодом.
- На локальном диске — только метаданные: имена, размер, структура папок и т.д.
- Данные хранятся в Telegram и загружаются только при работе с файлом
- Размер и тип файлов не ограничен, можно использовать с любой ОС
Идея создать VFS на базе Telegram появилась во время работы над AudioTubeBot и VideoTubeBot — после того как был найден способ обойти ограничение в 50мб на загрузку файлов для ботов — я изучил исходники Telegram — открыл много интересного. Например скорость загрузки ограничивается большей частью на самом клиенте, а не сервером.
В результате — увеличил скорость загрузки в облако Telegram до
240мбит/с на сессию (стабильно работает больше года), что в 15 раз превышает скорость официального клиента.
Логичным шагом было использовать неограниченное файловое хранилище с высокой скоростью загрузки в качестве сетевого диска — наверняка многие так и делают, но проблема в том, что клиентами telegram достаточно неудобно пользоваться для поиска и систематизации файлов. Кроме того — существует лимит в 1.5ГБ на размер одного файла.
Для решения этих проблем я сперва решил сделать патч ядра Linux и сделать свою виртуальную файловую систему, которая позволяла бы удобным образом группировать файлы загруженные в Telegram, при этом используя только метаданные.
В процессе изучения вопроса выяснилось что патчить ядро совсем не обязательно т.к. в Linux существует специальный модуль ядра FUSE, который позволяет разработчикам создавать новые типы файловых систем, доступные для монтирования пользователями без привилегий. Для модуля есть обертки почти под все популярные языки.
Telethon
Для доступа к Telegram я использую библиотеку Telethon версии 0.19.1 с модифицированной мной многопоточной загрузкой файлов(TelegramClientX).
Чтобы не писать с нуля файловую систему — за основу взята dedupfs на python, использующая fuse и sqlite для хранения метаданных, которая разбивает файлы на блоки, считает sha1 хэш и переиспользует одинаковые блоки — нужно всего лишь заменить методы загрузки данных в хранилище на свои.
TgCloud
Объединив это все — получился рабочий прототип tgcloud, пока что без космических скоростей, но все же рабочий, надеюсь привлечь сообщество к разработке. Загружаемые файлы разбиваются на блоки по 10МБ, рассчитывается sha1 и загружаются в SavedMessages, хеш сохраняется в локальной базе данных и при чтении блока по нему находится файл. Блоки склеиваются в нужном порядке и выдается поток байт — будто вы читаете их с диска.
Для запуска кода
- Необходимо получить api_hash и api_id на my.telegram.org и вставить эти данные вместе с номером телефона вашего аккаунта в tg_access.py
- Создать сессию запустив из папки с проектом
P.S. Про этическую сторону (из комментариев)
- 2x Xeon Silver 4214 — суммарно 24 ядра
- 2x Xeon Gold 5218 — суммарно 32 ядра
- 2x Xeon Gold 6240 — конфигурация с 36 ядрами.
Если большие мощности выделенного сервера не требуются — VDS от 150 руб/мес — то, что вам нужно!
Как бесплатно использовать Telegram в качестве неограниченного облачного хранилища файлов
Облачное хранилище в Telegram. Разбираемся, как сделать неограниченное «облако» для хранения больших файлов
Телеграм — это кроссплатформенный мессенджер с очень широкими возможностями, позволяющий обмениваться сообщениями и медиафайлами различных форматов. Удобный чат с одним из самых высоких уровней анонимности в мире. Информация банальная и известная каждому. Но если вы еще не пользуетесь Telegram, то наверняка есть одна интересная особенность, которая, возможно, станет для вас триггером, а он, в свою очередь, — веской причиной попробовать стать пользователем этого мессенджера. Дело в том, что он предоставляет неограниченное хранилище, причем абсолютно бесплатно!
26 июля Telegram объявил о том, что они увеличивают ограничение на размер файлов, которые можно отправлять через сервис, при этом бесплатное хранилище для файлов в облаке теперь расширено до 2 ГБ. Это уникальное предложение для бесплатного облачного хранилища, которое, по сути, создает для пользователей бесконечное хранилище файлов.
В очередной раз сервис доказал, что он остается одним из лучших инструментов для обмена файлами со знакомыми через ваш смартфон, планшет или персональный компьютер.
И еще один плюс — у Telegram есть портативное приложение для Windows (в дополнение к устанавливаемому), а также приложения для любой другой платформы, на которой вы можете его использовать. Есть даже веб-приложение. Другими словами, при помощи Телеграм пользователь может наконец-то связать свой компьютер под управлением Windows с любым другим устройством под управлением Android или iOS.
Больше не нужно будет скидывать ссылки и файлы через мейл обратно себе же на почту, чтобы открыть их на другом своем устройстве. Тем более объем сбрасываемых файлов всегда сильно ограничен и переслать файл весом более 50 Мб чаще всего не представляется возможным.
Единственные два ограничения, а точнее правила, которые вы должны соблюдать: вы и ваши знакомые онлайн или же другие ваши устройства (ноутбук, ПК, планшет) должны обладать установленной подтвержденной учетной записью Telegram, только при этом условии можно будет загружать на виртуальный диск все, что вы отправляете через чат.
Второе ограничение — невозможность создавать публичные ссылки на файлы, которые вы будете размещать в Telegram. В конце концов для этого есть Google Диск.
Как отправлять файлы через облачное хранилище Telegram
Настроить Telegram очень просто:
1. Установите приложение с сайта telegram.org и зарегистрируйтесь.
2. Просто укажите свой номер телефона — имя пользователя или пароль не потребуются (впрочем, создать имя пользователя можно, если вы этого захотите. Это позволит другим людям легче находить вас в сервисе из 400 миллионов других людей).
После того как вы появитесь в системе, самым простым способом создать чат с самим собой для получения доступа к облачному хранилищу для сброса файлов будет просто создать новый частный канал (не публичный), в котором будет участвовать лишь один пользователь — только вы.
3. Создание частного канала в Телеграм (на примере смартфона на базе iOS)
Перейдите в раздел «Чаты» и нажмите на значок листка с карандашом, располагающийся в верхнем правом углу:
Нас интересует пункт «Создать канал».
Вводим название будущего канала и жмем кнопку «Далее».
Здесь производим настройку, соответственно, частного канала, ставим галочку напротив данного пункта. Жмем кнопку «Далее».
И, наконец, просто нажимаем далее, игнорируя контакты.* Создание канала «для переброски файлов в облачное хранилище» готово.
*Telegram по-прежнему будет давать вам ссылку для приглашения знакомых из вашего списка контактов, приглашая пользователей присоединиться к вновь созданному каналу. Просто игнорируйте ее, если все, что вам нужно, — это обмен файлами между вашими собственными устройствами.
И вот теперь у вас есть облачное хранилище на 2 гигабайта, в котором вы можете обмениваться файлами между своими устройствами и операционными системами Windows, Android и iOS везде, где установлен активированный кроссплатформенный мессенджер. Для активации установленного, например на ПК, мессенджера, потребуется 30 секунд, просто введите номер своего телефона и подтвердите код на смартфоне.
А теперь достаточно нажать на значок скрепки возле строки ввода или просто перетащить файлы в поле чата, чтобы поделиться ими между устройствами. Очень удобно!
Но подождите, скажете вы, почему облачное хранилище файлов в «телеге» неограниченное, если объем его только 2 Гб? Все дело в том, что это ограничение на загрузку одного файла, объемом не более 2 Гб. Пользователи на форумах писали, что люди в течение нескольких лет помещали до 2 ТБ и более в чат Telegram и все файлы у них искались. И все это бесплатно!
Кстати, о файлах и поиске. Облако Telegram работает по принципу обычного чата, а это значит, что в облако можно загрузить все форматы файлов, которые можно отправлять по чату:
Как превратить Telegram в безлимитное облачное хранилище
Telegram – это не просто мессенджер. Я говорю это со всей ответственностью, потому что лично мне он заменил не только социальные сети, но и множество других сервисов. С его помощью я читаю новости, блоги, получаю почту, произвожу обменные операции с криптовалютами и делаю много чего ещё. Сам того не подозревая, Павел Дуров создал лучшее на рынке супер-приложение, которое развивается семимильными шагами и уже давным-давно опередило WhatsApp. А теперь Telegram ещё и превратили в безлимитный файлообменник.
Телеграм превратили в файлообменник с претензией на облачное хранилище
Пользователь GitHub с ником Poto05 сделал телеграм-бота под названием Uploadgram, который позволяет использовать Telegram для обмена файлами. А поскольку по умолчанию мессенджер предлагает возможность обмена данными в неограниченных объёмах, у пользователей появился безлимитный файлообменник совершенно бесплатно.
Как скачать Uploadgram
- Добавьте бота Uploadgram себе в Telegram по этой ссылке;
- Примите соглашение пользователя, которое появится на экране;
Так выглядит процесс взаимодействия с ботом Uploadgram
- Загрузите в чат с ботом любой файл, который хотите отправить;
- Дождитесь окончания его загрузки и создания ссылки на него.
Ссылку, которую вам предоставит Uploadgram, можно отправить пользователю, для которого и предназначался файл. Причём это может быть вообще всё что угодно – от картинки или аудиозаписи до установочного файла приложения или большого архива с различными медиафайлами. Telegram не чинит препятствий пользователям и не ограничивает их в объёмах загрузки.
Для удобства пользователей в Uploadgram предусмотрена возможность удалить файл, переименовать его или загрузить себе обратно. При этом, судя по всему, бот не удаляет загруженные файлы по прошествии времени, а хранит их бесконечно долго. Поэтому его можно использовать не только как файлообменник, но и как настоящее облачное хранилище. Правда, хранить там резервные копии и другие типы данных по понятным причинам невозможно.
При желании вы можете пользоваться Uploadgram и без бота. У него есть веб-версия, которая доступна по этой ссылке. То есть вы можете обмениваться данными со своими контрагентами, не регистрируясь в Telegram и не раскрывая своей личности. Правда, учитывайте, что сервис требует от пользователей не загружать на сервера контент для взрослых, который будет удаляться, а нарушители — блокироваться.
Как хранить данные в Telegram
При желании вы можете пользоваться либо веб-версией Uploadgram, либо загрузить приложение по этой ссылке
Впрочем, нужно быть аккуратным с Uploadgram. Несмотря на то что разработчик выложил исходный код своего бота на GitHub, предложив всем желающим изучить его и убедиться в абсолютной прозрачности и честности, я бы не стал доверять сервису какие-то ценные данные. Нет, я не боюсь, что их кто-то украдёт – тут как раз с этим проблем быть не должно. Я боюсь, что эти данные в какой-то момент могут просто удалить.
Дело в том, что хоть Telegram и не ограничивает пользователей в объёмах загружаемых данных, очевидно, что самому сервису это стоит немалых денег. А, поскольку аудитория мессенджера постоянно расширяется, то и расходы на обслуживание серверов, где любой желающий может хранить гигабайты данных, соответственно увеличиваются. Поэтому я бы ожидал, что в обозримом будущем Павел Дуров просто прикроет эту лавочку.
Почему я так думаю? Да потому что аналогичным образом уже поступила Google. Компания объявила о закрытии безлимитного хранилища в Google Фото, хотя явно в её интересах было, чтобы пользователи делились с ней своими данными. Ведь снимки – это колоссальный источник информации, который позволяет извлечь массу разнокалиберных сведений о пользователе и обучить с их помощью собственные алгоритмы и нейросети.
Так что, пожалуй, как файлообменником Uploadgram вполне можно пользоваться, а вот загружать туда какие-то ценные сведения всё-таки не стоит. С этой точки зрения куда лучше будет воспользоваться чатом с самим собой, который называется «Избранное». Ведь даже если Дуров закроет неограниченное хранилище данных в Telegram, ваши данные явно останутся при вас, а вот бота со всем его содержимым вполне могут заблокировать.
Как Telegram на самом деле хранит ваши данные в облаке или еще раз про моделирование угроз
В все еще неопубликованной методике моделирования угроз ФСТЭК есть такой пункт, как необходимость включить в модель угроз описание информационной системы, что позволит правильно очертить границы защищаемого объекта и учесть все угрозы, связанные с ним, в том числе и неявные (вот тут я про это более подробно рассказывал). И вот, находясь в командировке с последующим отпуском в США, я столкнулся с интересным кейсом, который иллюстрирует классическую ошибку (о ней же говорит и ФСТЭК) при очерчивании границ информационной системы в модели угроз.
Итак, возьмем популярный мессенджер Telegram, который считается одним из самых защищенных в своей нише. Одной из ключевых фишек этого мессенджера называется отсутствие хранения сообщения на серверах и секретные чаты, которые существуют не очень долго и которые самоуничтожаются по истечении определенного периода времени. Все вроде очень надежно и безопасно, но.
Во время поездки iPhone вдруг в какой-то момент перестал загружаться и все танцы с бубном не привели к его восстановлению. Оставалось только зайти в ближайший Apple Store и решать проблемы с поддержкой Apple, которая отработала на ура и после нескольких попыток вернуть смартфон к жизни предложила просто поменять его на новое устройство ввиду отсутствия у старого железа желания возвращаться к жизни. По приходу в гостиницу я решил залить на новый смартфон резервную копию, но, торопясь, ткнул мышкой не в последнюю версию, а в январскую (то есть более чем полугодовой давности). Первоначально я этого не заметил и после ее установки стал «добавить» устройство отсутствующими приложениями. Одним из них оказался и Telegram, которого в январе у меня еще не было (я его установил только в апреле). Каким же было мое лицо, когда после установки Telegram с нуля я увидел в нем всю переписку, которая велась в нем еще на старом устройстве!
WTF, подумал я, по привычке перейдя на американский. Как на абсолютно новом устройстве могли появиться данные, которых там никогда не было и которых не было в резервной копии, которая была залита на устройство? Где хваленая безопасность Telegram. Стал разбираться и выяснилась занятная вещь. Оказывается, при включенном iCloud Drive, Telegram автоматически (я не помню, чтобы он меня об это спрашивал при установке) включает функцию хранения данных в облаке Apple.
Очень интересная «фича», которая сразу приводит нас к сценарию атаки на людей, с чьей перепиской мы бы хотели ознакомиться:
- угоняется учетная запись пользователя в iCloud
- клонируется SIM-карта жертвы (технически или путем получения клона у мобильного оператора)
- в новом iPhone восстанавливается вся история переписки Telegram.
А во-вторых, хотел бы вернуться к тому, с чего я начал. При моделировании угроз очень важно четко описать границы системы, для которой моделируются угрозы. Особенно это важно в современных условиях, когда «теневые» облака активно используются сотрудниками практически любой компании. А помимо облаков еще есть 3G/4G-модемы, Wi-Fi и другие технологии, позволяющие существенно расширить как границы системы, так и список потенциальных угроз. Конечно же часть этих угроз может быть признана неактуальной, но сделать это можно только после того, как будет составлен их полный перечень, о чем и говорит пока еще не вышедшая методика ФСТЭК.