Як використовувати wget, Остаточний інструмент завантаження командного рядка

Новіше не завжди краще, і wget команда є доказом. Перший випущений ще в 1996 році, це додаток все ще є одним з кращих менеджерів завантажень на планеті. Якщо ви хочете завантажити один файл, цілу папку або навіть відтворити весь веб-сайт, wget дозволяє зробити це лише за кілька натискань на клавіші.

Звичайно, є причина, по якій не кожен користується wget: це додаток командного рядка, і як такий займає трохи часу для початківців. Ось основи, щоб ви могли розпочати роботу.

Як встановити wget

Перш ніж використовувати wget, потрібно його встановити. Як це зробити залежить від комп'ютера:

• Більшість (якщо не всі) дистрибутивів Linux поставляються з wget за замовчуванням. Тому користувачам Linux не потрібно нічого робити!
• Системи macOS не поставляються з wget, але ви можете встановити інструменти командного рядка за допомогою Homebrew. Як тільки ви налаштували Homebrew, просто запустіть заварити встановити wget в терміналі.
• Користувачі Windows не мають легкого доступу до wget у традиційному командному рядку, хоча Cygwin надає wget та інші утиліти GNU, а оболонка Ubuntu для Windows 10 також поставляється з wget.

Після інсталяції Wget можна відразу почати користуватися командним рядком. Давайте завантажимо деякі файли!

Завантажити один файл

Почнемо з чогось простого. Скопіюйте URL-адресу файлу, який потрібно завантажити у своєму веб-переглядачі.

Тепер поверніть назад до терміналу і введіть тип wget слідом за вставленою URL-адресою. Файл буде завантажено, і ви побачите прогрес у реальному часі.

Зауважте, що файл буде завантажено до поточної теки вашого терміналу, тому вам потрібно cd в іншу папку, якщо ви хочете зберегти її в іншому місці. Якщо ви не впевнені, що це означає, зверніться до нашого посібника з керування файлами з командного рядка. У статті згадуються Linux, але поняття однакові для систем macOS, а системи Windows, що працюють з Bash.

Продовжити неповне завантаження

Якщо, з якоїсь причини, ви зупинили завантаження, перш ніж він може закінчитися, не хвилюйтеся: wget може підібрати місце, де він зупинився. Просто використовуйте цю команду:

wget -c файл

Ключ тут -c, яка є "опцією" в мові командного рядка. Ця особлива опція повідомляє Wget, що ви хочете продовжити існуюче завантаження.

Дзеркало цілого веб-сайту

Якщо ви хочете завантажити весь сайт, wget може виконати цю роботу.

wget -m http://example.com

За замовчуванням, це завантажить все на сайті example.com, але ви, ймовірно, захочете використати ще кілька варіантів для корисного дзеркала..

• --конвертер-посилання змінює посилання всередині кожної завантаженої сторінки, щоб вони вказували один на одного, а не на веб.
• --реквізити сторінки завантажує такі речі, як таблиці стилів, щоб сторінки виглядали правильно в автономному режимі.
• --без батьків зупиняє завантаження батьківських сайтів. Тому, якщо ви хочете завантажити http://example.com/subexample, ви не отримаєте батьківську сторінку.

Поєднайте ці опції за смаком, і ви отримаєте копію будь-якого веб-сайту, який ви можете переглядати на своєму комп'ютері.

Зверніть увагу, що відображення всього веб-сайту в сучасному Інтернеті займає величезний обсяг місця, тому обмежуйте його невеликими сайтами, якщо у вас немає майже необмеженого сховища.

Завантажити весь каталог

Якщо ви переглядаєте FTP-сервер і знаходите всю папку, яку потрібно завантажити, просто запустіть:

wget -r ftp://example.com/folder

The r в даному випадку повідомляє Wget про рекурсивне завантаження. Можна також включити --неродитель щоб уникнути завантаження папок і файлів вище поточного рівня.

Завантажте список файлів одночасно

Якщо ви не можете знайти всю папку потрібних завантажень, wget може допомогти. Просто поставте всі URL-адреси для завантаження в один файл TXT.

потім наведіть wget на цей документ за допомогою -i опції. Подобається це:

wget -i download.txt

Зробіть це, і ваш комп'ютер завантажить всі файли, перелічені в текстовому документі, що зручно, якщо ви хочете залишити купу завантажень, запущених протягом ночі.

Ще кілька трюків

Ми могли б продовжувати: wget пропонує багато варіантів. Але цей посібник просто покликаний дати вам точку запуску. Щоб дізнатися більше про те, що wget може зробити, введіть людина wget в терміналі і прочитати, що приходить. Ви дізнаєтеся багато чого.

Сказавши це, ось кілька інших варіантів, які, на мою думку, є акуратними:

• Якщо ви хочете, щоб завантаження виконувалося у фоновому режимі, просто включіть цю опцію -b.
• Якщо ви хочете, щоб програма wget продовжувала намагатися завантажити, навіть якщо виникла помилка 404, використовуйте цю опцію -t 10. Це спробує завантажити 10 разів; ви можете використовувати будь-який номер, який вам подобається.
• Якщо ви хочете керувати своєю пропускною здатністю, виберіть опцію --гранична ставка = 200k буде обмежувати швидкість завантаження при 200KB / s. Змініть номер, щоб змінити швидкість.

Тут набагато більше дізнатися. Ви можете подивитися на завантаження джерела PHP, або налаштувати автоматичний завантажувач, якщо ви хочете отримати більш просунуті.