Download files and directories from web using curl and wget
This is one thing which everyone of us might have faced difficulty with or are still struggling to get a simple and exact answer.
FYI both curl and wget support HTTP, HTTPS, and FTP protocols.
Let’s get our hands dirty.
Downloading Files and Directories from web with WGET
Our first target is to download directories and underneath files from below location
Index of /centos/7.9.2009/updates/x86_64
Edit description
Let us understand this command in detail.
— -no-parent or -np
Do not ever ascend to the parent directory when retrieving recursively. This is a useful option, since it guarantees that only the files below a certain hierarchy will be downloaded.
Note that, for HTTP (and HTTPS), the trailing slash is very important to “ — — no-parent”. HTTP has no concept of a “directory”. Wget relies on you to indicate what’s a directory and what isn’t. In ‘http://foo/bar/’, Wget will consider ‘bar’ to be a directory, while in ‘http://foo/bar’ (no trailing slash), ‘bar’ will be considered a filename (so ‘ — — no-parent’ would be meaningless, as its parent is ‘/’).
-P prefix or — -directory-prefix=prefix
Set directory prefix to prefix. The directory prefix is the directory where all other files and subdirectories will be saved to, i.e. the top of the retrieval tree. The default is ‘.’ (the current directory).
-r or — -recursive
Turn on recursive retrieving. The default maximum depth is 5.
‘-R rejlist or — -reject rejlist’
Specify comma-separated lists of file name suffixes or patterns to accept or reject. Note that if any of the wildcard characters, ‘*’, ‘?’, ‘[’ or ‘]’, appear in an element of acclist or rejlist, it will be treated as a pattern, rather than a suffix. In this case, you have to enclose the pattern into quotes to prevent your shell from expanding it, like in ‘-A “*.mp3”’ or ‘-A ‘*.mp3’’.
Like we have done for all “index.html” files -> -R “index.html*”
cut_dirs = n
If you do not want the first few directories you can Ignore n remote directory components. Equivalent to — -cut-dirs=n.
Как скачать файл по ссылке linux
This website is using a security service to protect itself from online attacks. The action you just performed triggered the security solution. There are several actions that could trigger this block including submitting a certain word or phrase, a SQL command or malformed data.
What can I do to resolve this?
You can email the site owner to let them know you were blocked. Please include what you were doing when this page came up and the Cloudflare Ray ID found at the bottom of this page.
Cloudflare Ray ID: 71aba374ffd49b4c • Your IP : 82.102.23.104 • Performance & security by Cloudflare
Sorry, you have been blocked
This website is using a security service to protect itself from online attacks. The action you just performed triggered the security solution. There are several actions that could trigger this block including submitting a certain word or phrase, a SQL command or malformed data.
What can I do to resolve this?
You can email the site owner to let them know you were blocked. Please include what you were doing when this page came up and the Cloudflare Ray ID found at the bottom of this page.
Cloudflare Ray ID: 71aba374edd76903 • Your IP : 82.102.23.104 • Performance & security by Cloudflare
Загрузка файла в Linux с помощью командной строки
Командная строка Linux обеспечивает большую гибкость и контроль, чем графический интерфейс. Многие люди предпочитают использовать командную строку вместо графического интерфейса, потому что она проще и быстрее в использовании, чем графический интерфейс. Используя командную строку, легче автоматизировать задачи с помощью одной строки. Кроме того, она использует меньше ресурсов, чем графический интерфейс.
Загрузка файлов — это рутинная задача, которая обычно выполняется каждый день и может включать такие типы файлов, как ZIP, TAR, ISO, PNG и т.д. Вы можете просто и быстро выполнить эту задачу с помощью терминала командной строки. Для этого нужно использовать только клавиатуру. Поэтому сегодня я покажу вам, как можно загрузить файл с помощью командной строки в Linux. Обычно существует два известных способа сделать это — использование утилиты wget и curl. В этой статье я использую Ubuntu для описания процедуры. Но эти же команды будут работать и в других дистрибутивах Linux, таких как Debian, Gentoo и CentOS.
Загрузка файлов с помощью Curl
Curl можно использовать для передачи данных по ряду протоколов. Он поддерживает множество протоколов, включая HTTP, HTTPS, FTP, TFTP, TELNET, SCP и т.д. Используя Curl, вы можете загружать любые удаленные файлы. Он также поддерживает функции паузы и возобновления.
Чтобы приступить к работе, сначала необходимо установить curl.
Установите curl
Запустите приложение командной строки в Ubuntu — Terminal, нажав комбинацию клавиш Ctrl+Alt+T. Затем введите следующую команду для установки curl.
Для CentOS
После завершения установки введите приведенную ниже команду для загрузки файла.
Загрузка и сохранение файла с использованием имени исходного файла
Чтобы сохранить файл с тем же именем, что и исходный файл на удаленном сервере, используйте -O (верхний регистр O), а затем команду curl, как показано ниже:
Вместо -O можно также указать «—remote-name». Оба варианта работают одинаково.
Загрузка и сохранение файла с другим именем
Если вы хотите загрузить файл и сохранить его под именем, отличным от имени файла на удаленном сервере, используйте -o (строчная буква o), как показано ниже. Это полезно, когда удаленный URL не содержит имени файла в URL, как показано в примере ниже.Advertisement
[filename] — это новое имя выходного файла.
Загрузка нескольких файлов
Чтобы загрузить несколько файлов, введите команду в следующем синтаксисе:
Загрузка файлов с FTP-сервера
Чтобы загрузить файл с FTP-сервера, введите команду в следующем синтаксисе:
Чтобы загрузить файлы с FTP-серверов, аутентифицированных пользователями, используйте следующий синтаксис:
Приостановка и возобновление загрузки
Во время загрузки файла вы можете вручную приостановить ее с помощью Ctrl+C, а иногда она автоматически прерывается и останавливается по какой-либо причине, тогда вы можете возобновить ее. Перейдите в тот же каталог, где вы ранее загружали файл, затем введите команду в следующем синтаксисе:
Скачивание файлов с помощью Wget
Используя wget, вы можете скачивать файлы и содержимое с Web- и FTP-серверов. Wget — это комбинация www и get. Он поддерживает такие протоколы, как FTP, SFTP, HTTP и HTTPS. Также он поддерживает функцию рекурсивной загрузки. Эта функция очень полезна, если вы хотите загрузить весь сайт для просмотра в автономном режиме или для создания резервной копии статического сайта. Кроме того, вы можете использовать ее для получения содержимого и файлов с различных веб-серверов.
Установите wget
Запустите приложение командной строки в Ubuntu — терминал, нажав комбинацию клавиш Ctrl+Alt+T. Затем введите следующую команду для установки wget.
для CentOS
Загрузка файла или веб-страницы с помощью wget
Чтобы загрузить файл или веб-страницу, откройте Терминал и введите команду в следующем синтаксисе:
Чтобы сохранить одну веб-страницу или файл, введите команду в следующем синтаксисе:
Загрузка файлов с другим именем
Если вы хотите загрузить и сохранить файл с именем, отличным от имени исходного удаленного файла, используйте -O (верхний регистр O), как показано ниже. Это полезно, особенно когда вы загружаете веб-страницу, которая автоматически сохраняется с именем «index.html».
Чтобы загрузить файл с другим именем, введите команду в следующем синтаксисе:
Загрузка файлов с FTP
Чтобы загрузить файл с FTP-сервера, введите команду в следующем синтаксисе:
Чтобы загрузить файлы с FTP-серверов, аутентифицированных пользователями, используйте следующий синтаксис:
Рекурсивная загрузка файлов
Вы можете использовать функцию рекурсивной загрузки, чтобы загрузить все файлы из указанного каталога, будь то веб-сайт или FTP-сайт. Чтобы воспользоваться функцией рекурсивной загрузки, введите команду в следующем синтаксисе:
Загрузка нескольких файлов
Вы можете использовать команду wget для загрузки нескольких файлов. Создайте текстовый файл со списком URL-адресов файлов, а затем используйте команду wget в следующем синтаксисе для загрузки этого списка.
Например, у меня есть текстовый файл с именем «downloads.txt», в котором находится список из двух URL, которые я хочу загрузить с помощью wget. Вы можете увидеть содержимое моего текстового файла на рисунке ниже:
Приостановка и возобновление загрузки
Вы можете нажать Ctrl + C, чтобы приостановить загрузку. Чтобы возобновить приостановленную загрузку, перейдите в тот же каталог, откуда вы ранее скачивали файл, и используйте опцию -c после wget, как показано ниже:
Используя приведенную выше команду, вы заметите, что ваша загрузка возобновилась с того места, где она была приостановлена.
Итак, в этой статье мы рассмотрели основные способы использования двух командных строк, с помощью которых можно загрузить файл. Обратите внимание, что если вы не укажете каталог при загрузке файла, файлы будут загружены в текущий каталог, в котором вы работаете.
Изучаем команду wget на 12 примерах
Все мы иногда качаем файлы из интернета. Если для этого использовать программы с графическим интерфейсом, то всё оказывается предельно просто. Однако, при работе в командной строке Linux дело несколько усложняется. Особенно — для тех, кто не знаком с подходящими инструментами. Один из таких инструментов — чрезвычайно мощная утилита wget, которая подходит для выполнения всех видов загрузок. Предлагаем вашему вниманию двенадцать примеров, разобрав которые, можно освоить основные возможности wget.
1. Загрузка одного файла
Если всё, что нужно — это загрузка одного файла, нам подойдёт следующая конструкция:
После ввода такой команды начнётся скачивание Nagios Core. В ходе этого процесса можно будет видеть данные о загрузке, например — сведения о том, какой объём данных уже загружен, текущую скорость, и то, сколько времени осталось до конца загрузки.
2. Загрузка файла и сохранение его с новым именем
Если мы хотим сохранить загруженный файл под именем, отличающимся от его исходного имени, нам пригодится команда wget с параметром -O :
При таком подходе загруженный файл будет сохранён под именем nagios_latest .
3. Ограничение скорости загрузки файлов
При необходимости скорость загрузки файлов с помощью wget можно ограничить. В результате эта операция не будет занимать весь доступный канал передачи данных и не повлияет на другие процессы, связанные с сетью. Сделать это можно, используя параметр —limit-rate и указав ограничение скорости, выраженное в байтах (в виде обычного числа), килобайтах (добавив после числа K ) или мегабайтах ( M ) в секунду:
Здесь задано ограничение скорости загрузки, равное 500 Кб/с.
4. Завершение прерванной загрузки
Если в ходе загрузки файлов эта операция была прервана, можно возобновить загрузку с помощью параметра -c команды wget :
Если этот параметр не использовать, то загрузка недокачанного файла начнётся сначала.
5. Фоновая загрузка файла
Если вы загружаете файл огромного размера и хотите выполнять эту операцию в фоне, сделать это можно, используя параметр -b :
6. Загрузка нескольких файлов
Если имеется список URL файлов, которые надо загрузить, но вам не хочется вручную запускать загрузки этих файлов, можно использовать параметр -I . Однако, перед тем, как начинать загрузку, нужно создать файл, содержащий все адреса. Например, сделать это можно такой командой:
В этот файл нужно поместить адреса — по одному в каждой строке. Далее, осталось лишь запустить wget , передав этой утилите только что созданный файл со списком загрузок:
Выполнение этой команды приведёт к поочерёдной загрузке всех файлов из списка.
7. Увеличение общего числа попыток загрузки файла
Для того, чтобы настроить число повторных попыток загрузки файла, можно использовать параметр —tries :
8. Загрузка файлов с FTP-сервера
Команда загрузки файла с анонимного FTP-сервера с помощью wget выглядит так:
Если для доступа к файлу требуются имя пользователя и пароль, то команда примет такой вид:
9. Создание локальной копии веб-сайта
Если нужно загрузить содержимое целого веб-сайта, сделать это можно, воспользовавшись параметром —mirror :
Обратите внимание на дополнительные параметры командной строки:
- -p : производится загрузка всех файлов, необходимых для корректного отображения HTML-страниц.
- —convert-links : ссылки в документах будут преобразованы для целей локального просмотра сайта.
- -P /home/dan : материалы будут сохранены в папку /home/dan .
10. Загрузка с сайта только файлов определённого типа
Для того, чтобы загрузить с сайта только файлы определённого типа, можно воспользоваться параметрами -r -A :
11. Пропуск файлов определённого типа
Если вы хотите скопировать целый веб-сайт, но при этом вам не нужны файлы определённого типа, отключить их загрузку можно с помощью параметра —reject :
12. Загрузка с использованием собственного .log-файла
Для того, чтобы загрузить файл и использовать при этом собственный .log -файл, воспользуйтесь параметром -o и укажите имя файла журнала:
Итоги
Wget — довольно простая в использовании, но весьма полезная утилита Linux. И, на самом деле то, о чём мы рассказали — лишь малая часть того, что она умеет. Надеемся, этот обзор поможет тем, кто не был знаком с wget, оценить эту программу, и, возможно, включить её в свой повседневный арсенал инструментов командной строки.
Уважаемые читатели! Пользуетесь ли вы инструментами командной строки Linux для загрузки файлов? Если да — просим о них рассказать.