как решить проблему с пустым index.html с помощью wget?

Я хочу загрузить все файлы в папку на удаленном сервере. Я использую Wget на клиенте Windows, моя команда:

>wget -r http://www.example.com/getfeed/d165161dasdvc561551as1v6/soccerfixtures/england/

эта строка дает мне размер index.html (0 КБ).

я использовал тогда:

>wget -r --reject "index.html*" http://www.example.com/getfeed/d165161dasdvc561551as1v6/soccerfixtures/england/

Теперь я не получаю никаких файлов, даже когда я исключаю index.html. Я все еще не загружаю файлы. Может ли кто-нибудь помочь мне с этим и сказать мне, почему?


command-line download wget
person unique_programmer    schedule 08.03.2013    source источник

Ответы (1)


arrow_upward
1
arrow_downward

Это будет работать только в том случае, если веб-сервер на противоположном конце настроен на предоставление вам списка каталогов. Не все серверы настроены таким образом. Большинство автоматически перенаправляет вас на index.html, index.php и т. д., которые вы просили wget игнорировать.

В первом случае, когда вы не игнорируете index.html, wget будет переходить только по ссылкам на этой странице. Поскольку размер index.html, возвращаемый веб-сервером, равен нулю, значит, wget не может перейти по ссылкам, и работа завершается. Wget не может явно узнать, какие файлы находятся в каталоге.

Изменить адрес комментария:

$ wget -i скачать-список-файлов.txt

person Jeffrey Portouw    schedule 08.03.2013
comment
во-первых, у меня есть список файлов в каждом каталоге, и я пытаюсь загрузить файл, и он работает с Wget, но моя проблема теперь в том, что у меня есть более 300 файлов XML в разных каталогах, и я хочу загрузить их с помощью Wget, есть ли в любом случае, чтобы сделать скрипт для этого? Мне нужно знать, какой лучший способ, лучший язык и может ли удаленный сервер предотвратить процесс, если он займет слишком много времени? - person unique_programmer; 09.03.2013
comment
Смотрите редактирование, которое я добавил к своему ответу. Это похоже на то, о чем вы спрашиваете. - person Jeffrey Portouw; 10.03.2013