У меня есть доступ к онлайн-каталогу HTTP. Я попытался загрузить все подкаталоги и файлы через wget. Но проблема в том, что когда wget загружает подкаталоги, он загружает index.html файл, который содержит список файлов в этом каталоге, без загрузки самих файлов.
Есть ли способ загрузить подкаталоги и файлы без ограничения глубины (как будто каталог, который я хочу загрузить, - это просто папка, которую я хочу скопировать на свой компьютер).
Решение:
wget -r -np -nH --cut-dirs=3 -R index.html http://hostname/aaa/bbb/ccc/ddd/
Объяснение:
-r: рекурсивно-np: не переходить в каталоги верхнего уровня, например ccc /…-nH: файлы не сохраняются в папку с именем хоста--cut-dirs=3: но сохранить его в ddd, пропустив первые 3 папки aaa, bbb, ccc-R index.html: за исключением файлов index.html-R как -R css, чтобы исключить все файлы CSS, или использовать -A как -A pdf, чтобы загружать только файлы PDF.
- person John; 13.04.2015
When downloading from Internet servers, consider using the ‘-w’ option to introduce a delay between accesses to the server. The download will take a while longer, but the server administrator will not be alarmed by your rudeness.
- person jgrump2012; 08.07.2016
robots.txt файл, запрещающий загрузку файлов в каталоге, это не сработает. В этом случае вам нужно добавить -e robots=off . См. unix.stackexchange.com/a/252564/10312
- person Daniel Hershcovich; 16.04.2018
Warning: Invalid character is found in given range. A specified range MUST Warning: have only digits in 'start'-'stop'. The server's response to this Warning: request is uncertain. curl: no URL specified! curl: try 'curl --help' or 'curl --manual' for more information нет результата
- person user305883; 30.01.2019
curl -O 'http://example.com/directory/', но не прошел: curl: Remote file name has no length! есть html-страница с <pre> <a href="name.pdf">name.pdf</a> <a href="name2.pdf">name2.pdf</a> <a href="image1.png">image1.png</a> <a href="name3.pdf">name3.pdf</a>...</pre>, и я хочу загрузить все перечисленные документы (в href).
- person user305883; 31.01.2019
Мне удалось заставить это работать благодаря к этому сообщению с использованием VisualWGet. У меня это сработало. Похоже, что важной частью является проверка флага -recursive (см. Изображение).
Также обнаружено, что флаг -no-parent важен, иначе он попытается загрузить все.
--no-parent?
- person T.Todua; 08.08.2019
wget (как один из других ответов здесь): ‘-np’ ‘--no-parent’ Никогда не переходить в родительский каталог при рекурсивном извлечении. Это полезный вариант, поскольку он гарантирует, что будут загружены только файлы, расположенные ниже определенной иерархии. Дополнительные сведения см. В разделе «Ограничения на основе каталога».
- person mateuscb; 08.08.2019
wget -r -np -nH --cut-dirs=3 -R index.html http://hostname/aaa/bbb/ccc/ddd/
От man wget
‘-r’ ‘--recursive’ Включите рекурсивное получение. Подробнее см. Рекурсивная загрузка. Максимальная глубина по умолчанию - 5.
‘-np’ ‘--no-parent’ Никогда не переходить в родительский каталог при рекурсивном извлечении. Это полезный вариант, поскольку он гарантирует, что будут загружены только файлы, расположенные ниже определенной иерархии. Дополнительные сведения см. В разделе «Ограничения на основе каталога».
‘-nH’ ‘--no-host-directories’ Отключить создание каталогов с префиксом хоста. По умолчанию вызов Wget с '-r http://fly.srk.fer.hr/' создаст структуру каталогов, начинающуюся с fly.srk.fer.hr/. Эта опция отключает такое поведение.
‘--cut-dirs = number’ Игнорировать компоненты телефонного справочника. Это полезно для получения детального контроля над каталогом, в котором будет сохраняться рекурсивный поиск.
Без параметров -> ftp.xemacs.org/pub/xemacs/ -nH -> pub / xemacs / -nH --cut-dirs = 1 -> xemacs / -nH --cut-dirs = 2 ->.
--cut-dirs = 1 -> ftp.xemacs.org/xemacs/ ... Если вы просто хотите избавиться от структуры каталогов, этот параметр аналогичен комбинации «-nd» и «-P». Однако, в отличие от '-nd', '--cut-dirs' не проигрывает с подкаталогами - например, с '-nH --cut-dirs = 1' подкаталог beta / будет помещен в xemacs / beta, так как можно было ожидать.
вы можете использовать lftp, мощный армейский нож загрузки, если у вас есть файлы большего размера, вы можете добавить --use-pget-n=10 в команду
lftp -c 'mirror --parallel=100 https://example.com/files/ ;exit'
(можно использовать, только если вам не нужен рекурсивный отдел)
Используйте букмарклет. Перетащите эту ссылку в закладки, затем отредактируйте и вставьте этот код:
(function(){ var arr=[], l=document.links; var ext=prompt("select extension for download (all links containing that, will be downloaded.", ".mp3"); for(var i=0; i<l.length; i++) { if(l[i].href.indexOf(ext) !== false){ l[i].setAttribute("download",l[i].text); l[i].click(); } } })();
и перейдите на страницу (откуда вы хотите загрузить файлы) и щелкните этот букмарклет.
save as для каждого файла?
- person akkk3; 10.06.2021
wget - бесценный ресурс, которым я пользуюсь сам. Однако иногда в адресе есть символы, которые wget идентифицируют как синтаксические ошибки. Я уверен, что для этого есть исправление, но поскольку этот вопрос не касался конкретно wget, я подумал, что предлагаю альтернативу тем людям, которые, несомненно, наткнутся на эту страницу в поисках быстрого исправления, не требующего обучения.
Есть несколько расширений браузера, которые могут это сделать, но большинство из них требует установки менеджеров загрузки, которые не всегда бесплатны, обычно вызывают утомление и используют много ресурсов. Вот тот, у которого нет ни одного из этих недостатков:
Download Master - это расширение для Google Chrome, которое отлично подходит для загрузки из каталогов. Вы можете отфильтровать типы файлов для загрузки или загрузить весь каталог.
https://chrome.google.com/webstore/detail/download-master/dljdacfojgikogldjffnkdcielnklkce
Актуальный список функций и другую информацию можно найти на странице проекта в блоге разработчика:
http://monadownloadmaster.blogspot.com/
Вы можете использовать это Дополнение Firefox для загрузки всех файлов в каталог HTTP.
https://addons.mozilla.org/en-US/firefox/addon/http-directory-downloader/
wget обычно работает таким образом, но на некоторых сайтах могут возникать проблемы, и он может создавать слишком много ненужных файлов html. Чтобы упростить эту работу и предотвратить создание ненужных файлов, я делюсь своим скриптом getwebfolder, который является первым скриптом Linux, который я написал для себя. Этот сценарий загружает все содержимое веб-папки, указанной в качестве параметра.
Когда вы пытаетесь загрузить открытую веб-папку с помощью wget, которая содержит более одного файла, wget загружает файл с именем index.html. Этот файл содержит список файлов веб-папки. Мой скрипт преобразует имена файлов, записанные в файле index.html, в веб-адреса и загружает их с помощью wget.
Протестировано на Ubuntu 18.04 и Kali Linux, может работать и в других дистрибутивах.
Использование :
извлеките файл getwebfolder из zip-файла, представленного ниже
chmod +x getwebfolder (только в первый раз)
./getwebfolder webfolder_URLнапример ./getwebfolder http://example.com/example_folder/
