загружает ли рекурсивный wget посещенные URL-адреса?

Я хочу использовать wget для рекурсивной загрузки полной веб-страницы. Если, например, страницы 2-го уровня глубины содержат ссылки на страницы 1-го уровня (которые уже были загружены), загрузит ли их wget снова? Если да, то есть ли способ предотвратить это?

Будет ли ручной скрипт, похожий на wget, более оптимальным, чем wget, или он оптимизирован, чтобы не загружать что-то снова и снова? (Меня особенно беспокоят ссылки меню, которые появляются на всех страницах)

заранее спасибо


bash recursion wget
person slayers_88    schedule 07.11.2013    source источник

Ответы (1)


arrow_upward
1
arrow_downward

Один запуск wget никогда не должен пытаться загрузить одну и ту же страницу дважды. Было бы не очень полезно для зеркалирования, если бы это было так. :) У него также есть некоторые другие отказоустойчивые средства, такие как отказ от рекурсивного перехода к другому домену или каталогу более высокого уровня.

Если вы хотите убедиться, что он работает правильно, я предлагаю просто попробовать его и посмотреть, что он делает; вы всегда можете помять ^C.

person Eevee    schedule 07.11.2013