Скопируйте все файлы из папки HTTP в локальную папку
Я студент, и мне нужно извлечь много материала с веб-сайта моего профессора, желательно сохранить часть структуры папок.
Я работаю над коробками Windows и имею доступ к Windows XP, Windows 7 и Windows Server 2008 R2. Давным-давно (2-3 года назад) я пробовал некоторые утилиты, которые отражали веб-страницы и тому подобное, и по разным причинам они никогда не работали должным образом, или я никогда не мог получить то, что хотел от них.
Так, например, эти папки:
В сущности, настоящая боль пытаться загрузить вручную для последующего использования.
Я пробовал эту утилиту, и она либо излишняя, либо не достаточно простая, потому что я не мог заставить ее просто загружать файлы на мой жесткий диск.
В идеале я хотел бы рекурсивно сканировать папку, воссоздать структуру папки в некоторой указанной папке, а затем скопировать файлы с удаленного сервера в соответствующую папку на моем локальном компьютере.
Скопируйте все файлы из папки HTTP в локальную папку.
Я студент, и мне нужно вытащить много вещей с сайта моего профессора, желательно сохранив часть структуры папок.
я работаю с коробками Windows и имею доступ к Windows XP, Windows 7 и Windows Server 2008 R2. Давным-давно (2-3 года назад) я пробовал некоторые утилиты, которые зеркалировали веб-страницы и тому подобное, и по разным причинам они никогда не работали правильно, или я никогда не мог получить от них то, что хотел.
Так, например, эти папки:
В сущности, это настоящая боль — попытаться загрузить вручную для последующего использования.
Я пытался эта утилита и либо это перебор, либо это не просто перебор, потому что я никогда не мог заставить ее просто загрузить файлы на мой жесткий диск.
В идеале я хотел бы рекурсивно просканировать папку, воссоздать структуру папок в какой-нибудь заданной папке, а затем скопировать файлы с удаленного сервера в соответствующую папку на моей локальной машине.
Как скачать все файлы лежащие на сайте в статике?
Здравствуйте, у меня есть url например https://some/url/title.mp4.
Я имею доступ ко всем статическим файлом по url: https://some/url/
Мне необходимо скачать все видео (mp4) которые доступны по условной ссылки, однако названий этих видео я не знаю. Как мне узнать названия всех статических файлов хранящихся по определённому адресу, а лучше их скачать.
P.s. когда я обращаюсь по адресу https://some/url/ выдаёт ошибку 403.
P.s. https://some/url/ это условный адрес сайта которому я обращаюсь.
Заранее благодарю за ответ.
- Вопрос задан 20 июл. 2022
- 769 просмотров
Простой 1 комментарий
- Вконтакте
- Вконтакте
Не подходит, я сначала подумал про офлайн браузеры которые позволяли скачивать сайты по верхнему url с заданий глубиной и что главное типом файлов, однако сайт (https://some/url/) имеет авторизацию который недавно корректно работать скачивальщикам сайтов.
P.s. wget тоже пробовал не помогла. Он нехронит куки где что то важное сайт хранит из за чего не работает.
- Вконтакте
Не совсем понятно.
Парсить не реально? НЕ верю ))). Кроме случая если там есть пагинатор (Pagination), можно но сложнее.
1) Заходим на сайт и сохраняем страницу в html.
2) Закидаваем в Notepad++ делаем волшебные преобразования
3) Закидываем в Excel и получаем волшебную таблицу ссылок
4) Пишем макрос на закачку файлов
5) Заходим на сайт с паролем и не закрывая его запускаем макрос. Сайт не будет запрашивать пароль (надеюсь), так как сессия будет открыта.
Не будет работать если нет прямых ссылок. JS обрабатывает событие ведет к открытию другого окна.
- Вконтакте
Дело в том что http-протокол не поддерживает команду DIR. Тоесть мы не можем спросить перечень файлов.
Можем только сказать GET /url когда точно-точно знаем путь.
Хотя некоторые старые сервера типа Apache поддеживают auto-index mod. Который просто генерит такие html-листинги. Но это опция. Ее могут включать а могут нет. Некоторые поддерживают редирект на ошибку. Но это тоже опция.
Как скачать каталог HTTP со всеми файлами и подкаталогами, как они появляются в онлайн-списке файлов / папок?
Есть онлайн-каталог HTTP, к которому у меня есть доступ. Я попытался загрузить все подкаталоги и файлы через wget . Но проблема в том, что когда wget загружает подкаталоги, он загружает файл index.html который содержит список файлов в этом каталоге, не загружая сами файлы.
Есть ли способ загрузить подкаталоги и файлы без ограничения глубины (как будто каталог, который я хочу скачать, является просто папкой, которую я хочу скопировать на мой компьютер).
5 ответов
- Он загрузит все файлы и подпапки в каталог DDD
- -r : рекурсивно
- -np : не переходить в верхние каталоги, как ccc/…
- -nH : не сохранять файлы в папку с именем хоста
- —cut-dirs=3 : но сохранить его в ddd, пропустив первые 3 папки aaa, bbb, ccc
- -r index.html : исключая файлы index.html
Мне удалось заставить это работать благодаря к этому сообщению, используя VisualWGet. Это отлично поработало для меня. Важной частью является проверка флага -recursive (см. Изображение).
Также найдено, что флаг -no-parent важен, иначе он попытается загрузить все.
«- г «- рекурсивный Включите рекурсивное извлечение. См. «Рекурсивная загрузка» для более подробной информации. Максимальная глубина по умолчанию — 5.
«- н.п.» —no-родитель Никогда не поднимайтесь в родительский каталог при рекурсивном возврате. Это полезный вариант, поскольку он гарантирует, что будут загружены только файлы ниже определенной иерархии. Подробнее см. В разделе «Ограничения на основе каталогов».
«- нГн» —no-хост-каталоги Отключить создание каталогов с префиксом хоста. По умолчанию при вызове Wget с параметром -r http://fly.srk.fer.hr/ будет создана структура каталогов, начинающихся с fly.srk.fer.hr/. Этот параметр отключает такое поведение.
«- CUT-каталоги = число Игнорировать компоненты каталога. Это полезно для получения мелкозернистого контроля над каталогом, в котором будет сохранено рекурсивное извлечение.