11 фишек для извлечения и сохранения данных с сайтов
В закладки
БЕЗ скриптов, макросов, регулярных выражений и командной строки.
Эта статья пригодится студентам, которые хотят скачать все картинки с сайта разом, чтобы потом одним движением вставить их в Power Point и сразу получить готовую презентацию. Владельцам электронных библиотек, которые собирают новые книги по ресурсам конкурентов. Просто людям, которые хотят сохранить интересный сайт/страницу в соцсети, опасаясь, что те могут скоро исчезнуть, а также менеджерам, собирающим базы контактов для рассылок.
Есть три основные цели извлечения/сохранения данных с сайта на свой компьютер:
- Чтобы не пропали;
- Чтобы использовать чужие картинки, видео, музыку, книги в своих проектах (от школьной презентации до полноценного веб-сайта);
- Чтобы искать на сайте информацию средствами Spotlight, когда Google не справляется (к примеру поиск изображений по exif-данным или музыки по исполнителю).
Ситуации, когда неожиданно понадобится автоматизированно сохранить какую-ту информацию с сайта, могут случиться с каждым и надо быть к ним готовым. Если вы умеете писать скрипты для работы с утилитами wget/curl, то можете смело закрывать эту статью. А если нет, то сейчас вы узнаете о самых простых приемах сохранения/извлечения данных с сайтов.
1. Скачиваем сайт целиком для просмотра оффлайн
В OS X это можно сделать с помощью приложения HTTrack Website Copier, которая настраивается схожим образом.
Пользоваться Site Sucker очень просто. Открываем программу, выбираем пункт меню File -> New, указываем URL сайта, нажимаем кнопку Download и дожидаемся окончания скачивания.
Чтобы посмотреть сайт надо нажать на кнопку Folder, найти в ней файл index.html (главную страницу) и открыть его в браузере. SiteSucker скачивает только те данные, которые доступны по протоколу HTTP. Если вас интересуют исходники сайта (к примеру, PHP-скрипты), то для этого вам нужно в открытую попросить у его разработчика FTP-доступ.
2. Прикидываем сколько на сайте страниц
Перед тем как браться за скачивание сайта, необходимо приблизительно оценить его размер (не затянется ли процесс на долгие часы). Это можно сделать с помощью Google. Открываем поисковик и набираем команду site: адрес искомого сайта. После этого нам будет известно количество проиндексированных страниц. Эта цифра не соответствуют точному количеству страниц сайта, но она указывает на его порядок (сотни? тысячи? сотни тысяч?).
3. Устанавливаем ограничения на скачивание страниц сайта
Если вы обнаружили, что на сайте тысячи страниц, то можно ограничить число уровней глубины скачивания. К примеру, скачивать только те страницы, на которые есть ссылка с главной (уровень 2). Также можно ограничить размер загружаемых файлов, на случай, если владелец хранит на своем ресурсе tiff-файлы по 200 Мб и дистрибутивы Linux (и такое случается).
Сделать это можно в Settings -> Limits.
4. Скачиваем с сайта файлы определенного типа
В Settings -> File Types -> Filters можно указать какие типы файлов разрешено скачивать, либо какие типы файлов запрещено скачивать (Allow Specified Filetypes/Disallow Specifies Filetypes). Таким образом можно извлечь все картинки с сайта (либо наоборот игнорировать их, чтобы места на диске не занимали), а также видео, аудио, архивы и десятки других типов файлов (они доступны в блоке Custom Types) от документов MS Word до скриптов на Perl.
5. Скачиваем только определенные папки
Если на сайте есть книги, чертежи, карты и прочие уникальные и полезные материалы, то они, как правило, лежат в отдельном каталоге (его можно отследить через адресную строку браузера) и можно настроить SiteSucker так, чтобы скачивать только его. Это делается в Settings -> Paths -> Paths to Include. А если вы хотите наоборот, запретить скачивание каких-то папок, то их адреса надо указать в блоке Paths to Exclude
6. Решаем вопрос с кодировкой
Если вы обнаружили, что скачанные страницы вместо текста содержат кракозябры, там можно попробовать решить эту проблему, поменяв кодировку в Settings -> Advanced -> General. Если неполадки возникли с русским сайтом, то скорее всего нужно указать кодировку Cyrillic Windows. Если это не сработает, то попробуйте найти искомую кодировку с помощью декодера Лебедева (в него надо вставлять текст с отображающихся криво веб-страниц).
7. Делаем снимок веб-страницы
Сделать снимок экрана умеет каждый. А знаете ли как сделать снимок веб-страницы целиком? Один из способов — зайти на web-capture.net и ввести там ссылку на нужный сайт. Не торопитесь, для сложных страниц время создания снимка может занимать несколько десятков секунд. Еще это можно провернуть в Google Chrome, а также в других браузерах с помощью дополнения iMacros.
Это может пригодиться для сравнения разных версий дизайна сайта, запечатления на память длинных эпичных перепалок в комментариях или в качестве альтернативы способу сохранения сайтов, описанного в предыдущих шести пунктах.
8. Сохраняем картинки только с определенной страницы
Идем на owdig.com, указываем нужную ссылку, ждем когда отобразятся все картинки и кликаем на оранжевую полоску справа, чтобы скачать их в архиве.
9. Извлекаем HEX-коды цветов с веб-сайта
Идем на colorcombos.com и набираем адрес искомой страницы и получаем полный список цветов, которые использованы на ней.
10. Извлекаем из текста адреса электронной почты
Предположим, что вам надо сделать рассылку по сотрудникам компании, а их email-адреса есть только на странице корпоративного сайта и копировать их оттуда в ручную займет лишние 20-30 минут. В такой ситуации на помощь приходит сервис emailx.discoveryvip.com. Просто вставьте туда текст и через секунду вы получите список всех адресов электронной почты, которые в нем найдены.
11. Извлекаем из текста номера телефонов
Идем на convertcsv.com/phone-extractor.htm, копируем в форму текст/html-код, содержащий номера телефонов и нажимаем на кнопку Extract.
А если надо отфильтровать в тексте заголовки, даты и прочую информацию, то к вам на помощь придут регулярные выражения и Sublime Text.
Есть и другие способы извлечения данных с сайтов. Можно попросить какую-ту информацию непосредственно у владельца ресурса, cохранять части веб-страниц с помощью iMacros и парсить сайты с помощью Google Apps Script. Еще можно пойти традиционным путем и написать для парсинга bash-скрипт, но статей об этом на iPhones.ru пока нет.
В закладки
How to bulk download files from list of URL or Links
Downloading a list of files / urls fully automatically can be a rather tedious and time-consuming task.
I needed to download about 150 movies and immediately started looking for a way to create a batch that did the dirty work for me.
To my surprise, I found that this work can be done very easily using software. Below you will find the best solutions to automatically download all files from a list of URLs.
SOLUTION N.1: FILELIST DOWNLOADER
FIleList Downloader is a small but powerful program that can download ALL files from a list of URLs. Using this software is really simple.
First you need to have the list of URLs(one URL for each line) in a .txt file, as shown in the figure below.
Once you have this file you can install FileList Downloader on your Windows PC. You can download this program from the link below (compatible with all Windows versions)
The steps to follow to download all files from the list of URLs are as follows:
- Click on the READ FILE (.txt) button to load the txt file containing the list of file URLs (photos, images, pdf files, etc.)
- Click on Set Output Directory to choose the folder in which to save all downloaded files
- Click on the DOWNLOAD button to the right of the program to start downloading ALL files automatically
SOLUTION N.2: DOWNTHEMALL!
DownThemAll is an add-on present in Firefox. If you don’t have this browser on your computer, I recommend that you install it.
At this point we proceed to download and install the Firefox component DownThemAll!
Restart Firefox and then go to: Struments -> DownThemaAll! — Struments-> dTa! Manager
At this point, right-click on the manager window and go to: Advanced -> Import from file
Select the .txt file containing the list of URLs:
At this point you just have to select the folder where to save the file and start the process with the Start button!
Как скачать все файлы с сайта разом
Запустите браузер и перейдите на страницу Google Диска.
- Нажмите на любой файл или папку, чтобы выделить данные для загрузки. Чтобы выбрать все файлы, нажмите Ctrl+A (Windows) или Command +A (Mac OS). Выбранные файлы будут выделены голубым.
- В правом верхнем углу нажмите на три вертикальные точки.
- Выберите пункт «Скачать» в выпадающем списке.
- Google Диск объединит выбранные нужные файлы в ZIP-архив. Загрузка начнется автоматически.
Загрузка с помощью инструмента «Автозагрузка и синхронизация»
Запустите браузер и перейдите на страницу загрузки Google Диска. Установка программы поможет синхронизировать данные между компьютером и профилем на Google Диске и позволит скачать все файлы на ПК.
Главное преимущество метода в том, что любые изменения, которые происходят на Диске, автоматически отражаются в программе на компьютере.
- Откройте сайт и нажмите кнопку «Скачать Диск для компьютеров». Выберите «Принять условия и скачать».
- Дважды кликните по загруженному файлу для начала установки. Разрешите приложению вносить изменения на вашем устройстве. Выберите «Да», а после установки — «Закрыть».
- Дождитесь появления окна для входа в аккаунт Google. Введите логин и пароль.
- Программа предложит загрузить файлы и папки с компьютера на Google Диск. Если в этом нет необходимости, снимите отметки напротив папок.
- Нажмите кнопку «Далее».
- После сообщения «Синхронизировать раздел «Мой диск» с папкой на этом компьютере» нажмите «ОК».
- Выберите, какие файлы с Диска сохранить на ПК.
- Отметьте «Синхронизировать все объекты в разделе «Мой диск»» и нажмите «Начать».
- Подождите. В зависимости от объема диска это может потребовать значительного времени.
После завершения загрузки ваши файлы появятся в папке Google Диск на компьютере.
Загрузка через Google Архиватор
Войдите в свою учетную запись Google. Откройте страницу управления аккаунтом и выполните следующие шаги.
- Откройте вкладку «Данные и конфиденциальность».
- Промотайте страницу вниз до пункта «Скачивание и удаление данных». Выберите «Создать резервную копию данных».
- Кликните «СОЗДАНИЕ ЭКСПОРТА».
- Нажмите на «Отменить выбор» и промотайте страницу вниз, чтобы выделить Диск для загрузки. Также можно отметить другие необходимые данные.
- Нажмите кнопку «Далее».
- Выберите размер файла. Архив большего размера будет разделен на несколько частей.
- Нажмите «Создать экспорт» для начала загрузки. Подготовка архива может занять несколько часов или дней, по готовности на электронную почту придет уведомление.
Фото на обложке: Nopparat Khokthong / Shutterstock
Подписывайтесь на наш Telegram-канал, чтобы быть в курсе последних новостей и событий!
Как скачать все файлы сайта с хостинга без FTP
Всем доброго времени суток! Недавно переезжал с одного хостинга на другой и задался вопросом: как скачать все файлы сайта с хостинга без FTP?! В интернете почти нет информации как это сделать без FTP. А почему собственно мне это было нужно? Да просто я не мог зайти через ФТП – клиент. Пароль в c-panel пускает, но этот же пароль через программу не дает зайти. Фиг знает, что это такое.
В общем, скачать файлы, не используя сторонних средств, мне помогло вот что!
Как скачать все файлы сайта с хостинга без FTP просто?
- Первым делом нужно зайти в свою C-panel
- Затем перейти туда, где все файлы. В папку «файловый менеджер» Или что-то вроде этого!
- Выбрать необходимый файл или папку и заархивировать его!
Одиночный файл обычно скачивается без всяких архивов. А вот папку так просто не скачаешь, нужен архив!
Лично у меня это все выглядит так. Я захожу в файловый менеджер и выбираю папку или файл.
Затем нажимаю создать архив и собственно скачиваю его на компьютер!
Думаю, что создать архив возможно на всех видах хостинга.
Ну, вот ничего в этом сложного нет.
Таким образом, я думаю, ответил на вопрос: как скачать все файлы сайта с хостинга без FTP. Да сначала я конечно побродил по интернету поискал но ничего путного не нашел.
Потом сам додумался и в итоге все получилось.
Кстати после переделки своего сайта он стал весить на 300 мб меньше. Представьте, сколько было лишнего. В основном большой вес придавали картинки. Все картинки я уменьшил и теперь в среднем одна картинка весит около 20кб. А раньше все 500 кб вытягивали. Жесть.
Если не секрет напишите, какими программами для загрузки файлов на хостинг пользуетесь вы! Я лично использую File Zila! Очень удобная программа, а главное с помощью нее можно загрузить любые файлы! При этом не нужно создавать архивы.
Пожалуй, на этом я завершу данную статью! Теперь вы знаете скачать все файлы сайта с хостинга без FTP! Удачи!