Руководство по использованию команды wget с примерами

Загрузка...

Март 04, 2021 Мерион Нетворкс

7 минут

Wget - это бесплатная утилита командной строки GNU, используемая для загрузки файлов из Интернета. Она получает файлы с использованием протоколов HTTP, HTTPS и FTP.

Wget служит инструментом для поддержания нестабильных и медленных сетевых подключений. Если во время загрузки возникает проблема с сетью, это полезное программное обеспечение может возобновить получение файлов, не начиная с нуля.

Еще один важный аспект - это возможность рекурсивной загрузки, с которой она копирует веб-сайты. Она передает части веб-сайта по ссылкам и структуре каталогов, создавая, таким образом, локальные версии веб-страниц.

Команда wget также очень гибкая и может использоваться в терминалах, скриптах и заданиях cron. Во время загрузки пользователю не нужно быть активным или авторизованным. Поскольку wget не интерактивен, он может работать независимо в фоновом режиме.

Прочтите эту статью, чтобы узнать, как использовать некоторые из наиболее распространенных команд wget.

Руководство по использованию команды wget с примерами

Как проверить, установлен ли wget?

Скорее всего, пакет wget уже есть в вашей системе, поскольку теперь он предустановлен в большинстве дистрибутивов Linux.

Чтобы проверить, откройте окно терминала и введите:

wget

Если у вас есть программное обеспечение wget, в выходных данных будет указано, что для команды wget отсутствует URL-адрес, как показано ниже:

wget: missing URL
Usage: wget [OPTION]... [URL]...

Try `wget --help` for more options.

Команда wget не найдена

Если в выводе отображается wget command not found вам необходимо загрузить и установить инструмент вручную. Ниже вы найдете инструкции по установке для Ubuntu/Debian, CentOS и Windows.

Как установить wget на Ubuntu/Debian?

Чтобы установить wget в выпусках Ubuntu или Debian, используйте команду:

sudo apt-get install wget

Как установить wget на CentOS/Fedora?

Чтобы установить wget на CentOS или Fedora, введите следующую команду:

sudo yum install wget

Как установить wget в Windows?

Чтобы установить и настроить wget для Windows:

Загрузите wget для Windows и установите пакет.
Добавьте путь корзины wget к переменным среды (необязательно). Настройка этого параметра устраняет необходимость в полных путях и значительно упрощает запуск wget из командной строки:
- Откройте меню «Пуск» и выполните поиск по запросу среды.
- Выберите «Изменение системных переменных среды».
- Выберите вкладку «Дополнительно» и нажмите кнопку «Переменные среды».
- Выберите переменную Path в разделе «Системные переменные».
- Щелкните «Изменить».
- Нажмите «Создать» и добавьте путь к каталогу bin wget. Если он установлен по пути по умолчанию, добавьте C:\Program Files(x86)\GnuWin32\bin.
Откройте командную строку cmd.exe и запускайте команды wget.

Введение в синтаксис wget

Синтаксис wget имеет следующий шаблон:

wget [option][URL]

Каждый [option] имеет свою длинную и короткую форму, которые удобно взаимозаменяемы. Этот атрибут указывает, что делать с последующим URL-адресом. [URL] - это адрес файла или каталога, который вы хотите загрузить.

Примеры команд wget

Загрузить файл из Интернета

Чтобы загрузить файл из Интернета, используйте:

wget [URL]

Например, чтобы установить Tomcat 9, сначала вам нужно загрузить пакет с wget с помощью команды:

wget http://apache.cs.utah.edu/tomcat/tomcat-9/v9.0.20/bin/apache-tomcat-9.0.20.tar.gz

Скачать файл и сохранить под определенным именем

Чтобы скачать файл и сохранить его под указанным именем, выполните:

wget –O [имя_файла] [URL]

Команда wget позволяет вам переименовывать файлы перед их загрузкой на ваш компьютер.

Например, вы можете установить Terraform. Чтобы загрузить пакет и переименовать его в terraform.zip, используйте следующую команду:

wget –O terraform.zip https://releases.hashicorp.com/terraform/0.12.2/terraform_0.12.2_linux_amd64.zip

Загрузить файл в конкретный каталог

По умолчанию wget загружает файл в каталог, в котором находится пользователь. Чтобы сохранить файл в другом месте, добавьте параметр –P:

wget –P [желаемый_каталог] [URL]

Например, при установке Git в Ubuntu вы можете загрузить пакет в каталог /temp с помощью команды:

wget –P /temp https://github.com/git/git/archive/master.zip

Установить скорость загрузки

Вы можете установить скорость загрузки при загрузке большого файла, чтобы он не использовал всю доступную пропускную способность. Скорость загрузки определяется в килобайтах k и мегабайтах m. Используйте команду:

wget --limit-rate [желаемая_скорость] [URL]

Например, если вы устанавливаете драйверы NVIDIA TESLA в Linux и хотите ограничить скорость загрузки до 1 мегабайта, используйте команду:

wget --limit-rate 1m http://us.download.nvidia.com/tesla/396.37/nvidia-diag-driver-local-repo-ubuntu1710-396.37_1.0-1_amd64.deb

Продолжить загрузку после прерывания

Вместо того, чтобы начинать с нуля, wget может возобновить загрузку с того места, где она была остановлена ??до прерывания. Это полезная функция, если при загрузке файла происходит потеря соединения.

wget –c [URL]

Например, вы можете установить Mumble Server в Linux и внезапно потерять подключение к Интернету при загрузке установочного файла. Чтобы продолжить загрузку, введите команду:

wget –c https://github.com/mumble-voip/mumble/releases/download/1.2.19/murmur-static_x86-1.2.19.tar.bz2

Скачать несколько файлов

wget позволяет загружать несколько файлов одновременно с помощью команды:

wget –i [имя_файла]

Для этого выполните действия, описанные ниже:

1. Сначала создайте и откройте файл с именем MultipleDownloads.txt (или другим именем по вашему выбору) с помощью текстового редактора. В данном случае мы использовали Nano:

nano MultipleDownloads.txt

2. В редакторе добавьте URL-адреса пакетов, которые вы хотите загрузить, по одному в каждой строке.

3. Сохраните и выйдите из файла.

4. Выполните следующую команду wget в окне терминала:

wget –i MultipleDownloads.txt

Это побуждает wget загружаться с каждого URL-адреса в текстовом файле.

Загрузить веб-страницу (зеркальная веб-страница)

С помощью wget вы можете загрузить весь веб-сайт из Интернета, используя параметр –m. Он предлагает wget создать зеркало указанной веб-страницы. Основная команда для этого:

wget –m [URL]

Например:

wget –m https://wiki.merionet.ru

Скачать через FTP

Для загрузки через FTP введите имя пользователя и пароль FTP-сервера, а затем ftp-адрес:

wget --ftp-user=[ftp_username] --ftp-password=[ftp_password] ftp://...

Например:

wget --ftp-user=admin --ftp-password=SecretPassword ftp://123.456.7890

Скачать в фоновом режиме

Вы можете загрузить в фоновом режиме практическую функцию при работе с большими файлами:

wget –b [URL]

Проверить статус загрузки можно командой:

tail –f wget –log

Чтобы загрузить диспетчер пакетов RPM в фоновом режиме, введите:

wget –b http://some_website/sample_file.rpm

Увеличение числа попыток повтора

Вы можете установить, сколько раз wget пытается загрузить файл после того, как его прерывает плохая сеть, с помощью:

wget --tries = [количество_попыток] [URL]

По умолчанию количество повторных попыток установлено на 20.

Вы также можете установить число на бесконечность со значениями 0 или inf, как в следующем примере:

wget --tries=inf http://download.virtualbox.org/virtualbox/rpm/rhel/virtualbox.repo

Пропустить проверку сертификата

По умолчанию wget проверяет, есть ли у сервера действительный сертификат SSL/TLS. Если он не идентифицирует подлинный сертификат, он отказывается от загрузки.

Параметр --no-check-certificate используется, чтобы центры сертификации не проверяли сертификат сервера. Однако используйте его только в том случае, если вы уверены в надежности веб-сайта или не беспокоитесь о проблемах безопасности, которые он может вызвать.

wget --no-check-certificate [URL]

Если http://supersafewebsite.ru имеет ненадежный сертификат, но не причинит вреда системе, вы можете загрузить его с помощью:

wget --no-check-certificate http://supersafewebsite.ru

Изменить агент пользователя User-Agent

При загрузке веб-страницы wget по сути эмулирует браузер. В некоторых случаях в выводе может быть указано, что у вас нет разрешения на доступ к серверу или что соединение запрещено. Это может быть связано с тем, что веб-сайт блокирует клиентские браузеры, у которых есть определенный «User-Agent».

«User-Agent» - это поле заголовка, которое браузер отправляет на сервер, к которому он хочет получить доступ. Поэтому для загрузки с сервера, который отказывается подключаться, попробуйте изменить пользовательский агент.

Найдите базу данных всех пользовательских агентов в сети, найдите тот, который вам нужен, и выполните команду:

wget --user-agent=”User Agent Here” “[URL]”

или

wget –U ”User Agent Here” “[URL]”

Например, чтобы эмулировать Chrome (версия 74), вы должны изменить пользовательский агент с помощью команды:

wget --user-agent=” Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36” “https://wiki.merionet.ru”

Итоги

В этой статье рассказывается, почему wget является таким мощным инструментом для загрузки файлов через Интернет. Он также служит хорошим справочником для новичков со списком из основных команд и примеров wget.

ИТ База знаний

NEW!

Полезно

Навигация

Серверные решения

Телефония

Корпоративные сети