22 примера wget
  1. Загрузка всех URL, указанных в файле FILE:
    $ wget -i FILE
  2. Скачивание файла в указанный каталог (-P):
    $ wget -P /path/for/save ftp://ftp.example.org/some_file.iso
  3. Использование имя пользователя и пароля на FTP/HTTP:
    wget ftp://login:password@ftp.example.org/some_file.iso
    wget ---user=login ---password=password ftp://ftp.example.org/some_file.iso
  4. Скачивание в фоновом режиме (-b):
    $ wget -b ftp://ftp.example.org/some_file.iso
  5. Продолжить (-c continue) загрузку ранее не полностью загруженного файла:
    $ wget -c http://example.org/file.iso
  6. Скачать страницу с глубиной следования 10, записывая протокол в файл log:
    $ wget -r -l 10 http://example.org/ -o log
  7. Скачать содержимое каталога http://example.org/~luzer/my-archive/ и всех его подкаталогов, при этом не поднимаясь по иерархии каталогов выше:
    $ wget -r —no-parent http://example.org/~luzer/my-archive/
  8. Для того, чтобы во всех скачанных страницах ссылки преобразовывались в относительные для локального просмотра, необходимо использовать ключ -k:
    $ wget -r -l 10 -k http://example.org/
  9. Также поддерживается идентификация на сервере:
    $ wget —save-cookies cookies.txt \ —post-data ‘user=foo&password=bar’ \ http://example.org/auth.php
  10. Скопировать весь сайт целиком:
    $ wget -r -l 0 -k http://example.org/
  11. Скачивание галереи картинок с превьюшками.
    $ wget -r -k -p -l1 -I /images/ -I /thumb/ \ —execute robots=off www.example.com/gallery.html
  12. Сохранить веб страницу (как она открывается локально) в текущую директорию
    $ (cd cli && wget -nd -pHEKk http://www.pixelbeat.org/cmdline.html)
  13. Продолжить скачивание частично скаченного файла
    $ wget -c http://www.example.com/large.file
  14. Скачать множество файлов в текущую директорию
    $ wget -r -nd -np -l1 -A ‘*.jpg’ http://www.example.com/
  15. Отображать вывод напрямую (на экран)
    $ wget -q -O- http://www.pixelbeat.org/timeline.html | grep ‘a href’ | head
  16. Скачать url в 01:00 в текущую директорию
    $ echo ‘wget url’ | at 01:00
  17. Сделать закачку с уменьшенной скоростью В данном случае 20 КB/s
    $ wget —limit-rate=20k url
  18. Проверить ссылки в файле
    $ wget -nv —spider —force-html -i bookmarks.html
  19. Оперативно обновлять локальную копию сайта (удобно использовать с cron)
    $ wget —mirror http://www.example.com/
  20. Используем wildcard для того чтобы скачать несколько страниц
    $ wget http://site.com/?thread={1..100}
    $ wget http://site.com/files/main.{css,js}
  21. Запустить скачивание списка ссылок в 5 потоков
    $ cat links.txt | xargs -P 5 wget {}
  22. Проверить ссылки из файла на живость
    cat list.txt
    https://yandex.ru
    https://google.ru
    https://yandex.ru/qweqweqweqwe
    wget -nv ---spider -i list.txt
    2018-05-04 10:16:20 URL: https://xakinfo.ru/ 200 OK
    2018-05-04 10:16:21 URL: https://www.google.com/ 200 OK
    https://www.youtube.com/blabla:
    Remote file does not exist --- broken link!!!