По вашему запросу ничего не найдено :(
Убедитесь, что запрос написан правильно, или посмотрите другие
наши статьи:
Если вы когда-то пользовались какой-нибудь серверной версией Linux, то скорее всего сталкивались с командой curl. Эта мощная утилита системы Linux позволяет скачивать и загружать файлы на сервер и поддерживает более 20 протоколов.
Раньше мы писали про первые 15 примеров cURL в Linux. Статья зашла - это продолжение :)
cURL идеальная команда для взаимодействия с веб-сайтом или API, отправления запросов и получения ответов на терминал или с выводом в файл. Иногда она используется как часть сложного скрипта для передачи полученных данных другим функциям на дальнейшую обработку.
Наряду с получением файлов из сервера, cURL так же используется для закачки части вебсайта. Несмотря на то, что она довольно хорошо справляется с работой, но всё же wget лучше наточен под такую работу.
В конце материала мы рассмотрим несколько отличий и сходств этих двух утилит, но а пока расскажем как пользоваться утилитой curl.
Скачивание файла
Самая базовая команда, которую можно дать утилите cURL это скачать сайт или файл. По умолчанию, cURL использует протокол HTTP, но мы можем задать любой другой. Чтобы открыть исходный код сайта просто нужно ввести команду:
$ curl http://www.google.com
Когда мы вводим указанную команду, окно терминала заполняется HTML и другим кодом, используемым для создания веб страницы, но от такого вывода мало пользы. Изменим команду так, чтобы вывод перенаправлялся в HTML файл, чтобы затем можно было просмотреть содержимое.
$ curl www.likegeeks.com --output likegeeks.html
Теперь файл можно открыть любым браузером.
Если нужно скачать какой-то файл, то команда остается та же. Только нужно добавить опцию output, как мы и сделали ранее. Если не сделать команда вернёт бинарный код файла, что может привести к сбою.
Ниже показано что мы видим при попытке загрузить Word документ размером 500Кб.
Файл начинает закачиваться, и мы видим текущий статус закачки. Когда загрузка завершится файл будет расположен по пути, указанной во время запуска команды. Если такового не было указано, то файл будет расположен в текущей директории.
Также, вы, наверное, заметили ключ L в команде. При загрузке файла этот ключ необходим, но о его назначении поговорим чуть позже.
Отслеживание редиректа
Если после выполнения команды ничего не вернулось это значит, что на сайте есть редирект (переадресация) на другую ссылку, но cURL не понимает этого. Это можно исправить, указав ключ L при вводе команды.
Во время подготовки материала мы заметили, что данный ключ нужен в подавляющем большинстве случаев. Так что возьмите себе эту фишку на вооружение.
Остановка и продолжение скачивания
Если во время закачки файла что-то пошло не так или же качаете большой файл, но ввиду каких-то причин не хотите делать это за одну сессию, cURL предоставляет возможность остановки и продолжения закачки.
Чтобы остановить процесс вручную, нужно нажать комбинацию CTRL+C, которая используется для остановки почти всех процессов, запущенных в терминале.
Итак, загрузка была начата, но мы прервали её комбинацией клавиш, а теперь нам нужно продолжить закачку. Для этого вводим следующую команду.
$ curl -C - example.com/some-file.zip --output MyFile.zip
Ключ C говорит утилите cURL продолжить закачку, но обратите внимание, что сразу после ключа указан дефис. Этот дефис указывает команде перед продолжением просмотреть уже закачанную часть, чтобы понять с какого места нужно продолжать загрузку.
Закачка продолжилась и успешно завершилась.
Указание времени выполнения команды
Если нужно чтобы прервать выполнение команды cURL по истечении указанного времени, мы можем указать таймер выполнения команды. Это особо полезно так как некоторые операции выполняются бесконечно, что может привести к зависанию системы. Чтобы избежать этого можно указать максимальный период в секундах, по истечении которого cURL прервёт выполнение команды. Вышесказанное реализуется следующим образом:
$ curl -m 60 example.com
Также есть возможность указать в течении какого времени держать соединение активным. Это позволит избежать бесконечных попыток соединения с узлом, который не доступен. Эта опция тоже в качестве аргумента принимает значение в секундах. А команда выглядит так:
$ curl --connect-timeout 60 example.com
Указание логина и пароля
Утилита cURL позволяет указывать имя пользователя и пароль при подключении. Чаще всего это нужно при аутентификации на FTP сервере. Для этого используется ключ u. Синтаксис команды указан ниже:
$ curl -u username:password ftp://example.com
Данную опцию можно использовать с любым протоколом, но FTP является самым распространённым для простой передачи файлов.
Если нужно скачать файл указанный на скриншоте ниже запускаем ту же команду, только указываем полный путь к нужному документу.
$ curl -u username:password ftp://example.com/readme.txt
Использование прокси
cURL можно указать, чтобы подключение выполнялось через прокси сервер. По умолчанию, она использует HTTP прокси, но можно указать и другие. Чтобы направить трафик через прокси используется ключ x.
$ curl -x 192.168.1.1:8080 http://example.com
Данная команда обязует cURL подключиться к прокси по адресу 192.168.1.1 на порту 8080 перед обращением на example.com
Прокси можно использовать и с другими протоколами. Ниже показан пример использования прокси сервера для получения файла с фтп сервера.
$ curl -x 192.168.1.1:8080 ftp://example.com/readme.txt
cURL поддерживает много типов прокси и соответствующих ключей, но охватить их всех в одном руководстве сложно. Для более подробной информации о туннелировании, SOCKS прокси, аутентификации и т.п. можете прочитать man по команде cURL.
Загрузка больших файлов по частям
Мы уже показывали как можно остановить и запустить закачку, но что если мы хотим скачать файл большого размера по частям? cURL имеет и такую возможность. Чтобы реализовать это достаточно указать ключ -range и размер загружаемой части. Размер должен быть указан в байтах.
Чтобы скачать последнюю версию Ubuntu частями по 100 МБ нужно прописать следующую команду:
$ curl --range 0-99999999 http://releases.ubuntu.com/18.04/ubuntu-18.04.3-desktop-amd64.iso ubuntu-part1
Во вторая команде нужно указать с какого байта начинать загрузку. И так пока не скачается весь файл.
$ curl --range 100000000-199999999 http://releases.ubuntu.com/18.04/ubuntu-18.04.3-desktop-amd64.iso ubuntu-part2
Затем просто нужно собрать воедино скачанные части:
$ cat ubuntu-part? > ubuntu-18.04.3-desktop-amd64.iso
Аутентификация по сертификату
Для подключения к сайту использованием сертификата вместо обычной аутентификации можно указать опцию cert и путь к сертификату.
$ curl --cert path/to/cert.crt:password ftp://example.com
cURL поддерживает большое количество форматов сертификатов и имеет очень много опций для работы с ними: -cacert, cert-status, -cert-type, и т.д. Для списка всех ключей посмотрите man.
Тихий режим
Если вас раздражают разные сообщения об ошибках во время работы с cURL, то можно запустить её в тихом режиме. Для этого используется ключ s. Но, чтобы увидеть результат выполнения команды вывод нужно перенаправить в файл. Для сохранения файла в текущей директории просто нужно указать ключ O.
$ curl -s -O http://example.com
Как альтернатива, команду можно запустить с опцией --output и указать название и путь к месту сохранения файла.
$ curl -s http://example.com --output index.html
Получение заголовков
cURL позволяет легко получать заголовков какого-либо сайта. Для этого достаточно запустить команду с ключом I.
$ curl -I example.com
Если запустить команду с ключами I и L совместно, то cURL выведёт заголовки даже если на сайте стоит переадресация.
Множественные заголовки
Команде cURL можно передать и заголовки. Для этого есть ключ H. Для передачи нескольких заголовков перед каждым из них нужно поставить данный ключ.
$ curl -H 'Connection: keep-alive' -H 'Accept-Charset: utf-8 ' http://example.com
POST Закачка файла на сервер
POST самый распространённый метод получения данных на веб-сайтах. Например, когда заполняете форму на сайте, скорее всего данные из форм передаются серверу методом пост. Чтобы отправить сайту данные этим методом нужно использовать ключ d.
$ curl -d 'name=geek&location=usa' http://example.com
Чтобы загрузить файл вместо текста нужно ввести следующую команду
$ curl -d @filename http://example.com
Используйте ключ d столько раз, сколько данных или файлов нужно отправить на сайт.
Чтобы загрузить файл через протокол FTP используйте ключ T
$ curl -T myfile.txt ftp://example.com/some/directory/
Отправка почты
Отправка почты это один из видов загрузки данных на почтовый сервер. Так как cURL может загружать файлы, то мы можем использовать ее и для отправки почты. Есть много вариантов сделать это, но здесь мы рассмотрим, как посылать почты через SMTP сервер.
$ curl smtp://mail.example.com --mail-from me@example.com --mail-rcpt john@domain.com --upload-file email.txt
Учтите, что файл e-mail должен быть отформатирован нужным образом. Что-то вроде этого:
$ cat email.txt
From: Web Administrator <me@example.com>
To: John Doe <john@domain.com>
Subject: An example email
Date: Sat, 7 Dec 2019 02:10:15
John,
Hope you have a great weekend.
-Admin
Как всегда, за подробной информацией можете обратиться к man.
Чтение почты
Для получения почты используется IMAP и POP3 и сurl поддерживает оба протокола. Зайдем на почту используя протокол IMAP:
$ curl -u username:password imap://mail.example.com
Данная команда выведет список доступных почтовых ящиков, но не покажет их содержание. Чтобы прочитать письмо нужно указать UID письма аргументов для опции X.
$ curl -u username:password imap://mail.example.com -X 'UID FETCH 1234'
Разница между cURL и wget
Иногда пользователей путаются между curl и wget, так как обе они могут получать информацию с сервера. Но это единственное сходство между ними.
В этом материале мы показали возможности curl. wget дает другие возможности. wget лучшая утилита для скачивания файлов, а также у него есть возможность делать это рекурсивно, переходя по всем ссылкам и директория и скачать сайт полностью.
Таким образом, если вам нужно скачать все исходные файлы сайта используйте wget. Если же используется протокол отличный от HTTP или HTTPS, или нужно закачать файл на сервер, выберите curl. cURL удобен для скачивания одиночных файлов, хотя и wget неплохо справляется с данной задачей.
Чтобы начать наше знакомство с регулярными выражениями, давайте взглянем на них поближе. Регулярные выражения являются шаблоном, который выполняет сравнение последовательности текста слева направо. Выражние "регулярные выражения" используют не очень часто, чаще всего применяют "regex" либо "regexp". В общем и целом, регулярные выражения предназначены для изменения текста в строке, а также они выполняют проверку некоторых форм, и т.д.
К примеру, у вас в разработке ведется некое приложение, и вам понадобилось выявить какие-то правила, по которым юзер уже будет выбирать собственное наименование. Важным условием будет ограничение в количестве символов и написании самого имени, которое должно состоять из букв, цифр, дефиса и нижнего подчеркивания. Для того, чтобы решить данную задачу, можно воспользоваться представленным ниже решением:
john_doe;
jo-hn_doe;
john12_as.
Но если наименование юзера будет состоять из прописной буквы, например Jo, то оно никак не будет соответствовать данному условию.
Основные совпадения
Регулярные выражения являются шаблоном, который состоит из неких символов, с помощью которого разработчики выполняют поиск в тексте. К примеру, условие "The" будет означать букву "t", за которой идет "h", затем - "e".
"the" => The fat cat sat onthemat.
Метасимволы
Строительными блоками регулярных выражений являются метасимволы, которые являются независимыми, и обычно используются любыми способами. Некоторое количество из них могут иметь особое предназначение, поэтому они выделяются квадратными скобками. Ниже вы можете ознакомиться с метасимволами.
Метасимволы
Описание
.
Любой единичный символ, исключая новую строку.
[ ]
Поиск набора символов, помещенных в скобки.
[^ ]
Отрицательный класс символов. Соответствует любому символу, не заключенному в квадратные скобки.
*
0 или больше повторений предшествующего символа.
+
1 или больше повторений предшествующего символа.
?
Делает предшествующий символ опциональным.
{n,m}
Возвращает как минимум "n", но не более "m" повторений предшествующего символа.
(xyz)
Находит группу символа в строго заданном порядке.
|
Разделяет допустимые варианты.
Исключает следующий символ. Позволяет искать служебные символы [ ] ( ) { } . * + ? ^ $ |
^
Находит начало введенной строки.
$
Находит конец введенной строки.
Сокращения для обозначения символов
В регулярных выражениях также существуют некоторые сокращения для символов, что в несколько раз повышает комфортность при работе. Ниже приведен список сокращений:
Сокращение
Описание
.
Любой символ, кроме новой строки
w
Соответствует буквенно-цифровым символам: [a-zA-Z0-9_]
W
Соответствует не буквенно-цифровым символам: [^w]
d
Соответствует цифрам: [0-9]
D
Соответствует нецифровым знакам: [^d]
s
Соответствует знаку пробела: [
f
p{Z}]
S
Соответствует символам без пробела: [^s]
Look Around Позиционная проверка
Look Around представляет собой набор некоторых групп, которые предназначены для поиска в тексте, но сами в него не входят. Позиционная проверка используется в том случае, если в определенном условии существует шаблон, который либо предшествует, либо идет следующим.
Символ
Описание
?=
Положительный Lookahead
?!
Отрицательный Lookahead
?<=
Положительный Lookbehind
?
Отрицательный Lookbehind
Флаги
Флаги также часто называют модификаторами, так как они могут изменять выходные данные регулярного выражения. Флаги ниже являются неотъемлемой частью и могут использоваться в любом порядке или комбинации регулярных выражений.
Флаг
Описание
i
Нечувствительность к регистру: делает выражение нечувствительным к регистру.
g
Глобальный поиск: поиск шаблона во всей строке ввода.
m
Многострочность: анкер метасимвола работает в каждой строке.
Жадные vs. ленивые выражения
По умолчанию регулярные выражения выполняются благодаря "жадным" квантификаторам, им соответствует максимально длинная строка из всех возможных.
"/(.*at)/" => The fat cat sat on the mat.
Чтобы получить "ленивое" выражение, нужно использовать знак "?". Так будет получена максимально короткая строка.
"/(.*?at)/" => The fat cat sat on the mat.
Продолжаем говорить про модули FreePBX. Сегодня спешим рассказать про очень важный модуль - Asterisk Sip Settings. Корректная настройка этого модуля имеет сильно влияет на параметры прохождения голосового трафика и проблем односторонней слышимости. От слов к делу.
Вкладка General SIP Settings
Перейдем к настройке. Для этого, открываем Settings → Asterisk Sip Settings. Пробежимся по опциям, которые доступны для настройки:
Allow Anonymous inbound SIP Calls - если данная опция переключена в позицию Yes, ваша IP – АТС Asterisk будет обрабатывать звонки, поступающие с неизвестных IP –адресов в контексте from – pstn. Обычно, выбор данной опции в положение Yes связан с включением набора по SIP URI. Учтите, что включенная опция значительно увеличивает риски связанные с безопасностью системы;
External Address - в данном поле необходимо указать ваш внешний IP – адрес. Помимо прочего, нажав на Detect Network Settings АТС автоматически определит параметры внешнего IP – адреса и внутренних локальных подсетей;
Local Networks - локальные подсети, из которых будут подключаться ваши SIP – устройства. Синтаксис прост: сетевой IP – адрес/маска. Например, 192.168.1.0/255.255.255.0. Есть возможность добавить несколько подсетей нажав на кнопку Add Local Network;
RTP Settings
RTP Ranges -начальный и конечный UDP порты для RTP трафика. В целом, данный диапазон можно посчитать. Знайте, что для каждого звонка нужно иметь по крайне мере 4 порта;
RTP Checksums - подсчитывать ли контрольную сумму для UDP, который переносит RTP трафик (голос);
Strict RTP - данная опция будет отбрасывать RTP пакеты, который приходят не от источника RTP – потока в рамках сессии;
Codecs - выберите нужные кодеки. Важно учесть порядок кодеков – он влияет на приоритет установления кодека в рамках SDP сообщений;
STUN Servers - указать IP – адрес STUN сервера. Если кратко, STUN помогает преодолеть проблемы с NAT – он помогает SIP – клиентам внутри локальной сети определять свой публичный адрес;
Вкладка Chan SIP Settings
Переходим к настройке chan_sip.
NAT Settings
NAT - настройка NAT (Network Address Translation) для Asterisk.
yes - использовать NAT;
no - использовать трансляцию согласно RFC3581. Если кратко, то данный RFC позволяет отправлять ответа на порт, с которого запрос был получен, вместо порта, взятого из заголовка Via в SIP пакете;
never - не использовать NAT согласно RFC3581;
route - данная опция подойдет для клиентов, которые не отрабатывают поле rport в заголовках SIP сообщений (согласно RFC3581 );
IP Configuration - в данном поле вы можете указать параметры внешнего IP. Вы можете указать вручную ваш внешний IP – адрес, а также использовать DDNS (Dynamic DNS);
Audio Codecs
Non-Standard g726 - порой пир устанавливает порядок инициации параметров аудио потока (характерно для некоторых моделей Sipura и Grandstream) для кодека G726 с полосой пропускания 6, 24, 32, и 40 килобит/сек. Если требуется, установите эту опцию в положение Yes;
T38 Pass-Through - позволяет сквозное пропускание факсов через Asterisk без дополнительной обработки и внесения изменений по протоколу T38;
No - выключить сквозной режим;
Yes - включает T38 в режиме коррекции ошибок FEC (Forward Error Correction), а так же переписывает значение, предоставленное оконечным устройством, согласно которому мы можем отправить факс – пакеты размером 400 байт по протоколу T38;
Yes with FEC - включает T38 в режиме коррекции ошибок FEC;
Yes with Redundancy - включает T38 в режиме отказоустойчивой коррекции ошибок FEC;
Yes with no error correction - включает T38 без коррекции ошибок;
Video Codecs
Video Support - включив эту опцию в переключатель Enabled, вам будет предложено настроить кодеки для видео – звонков.;
TLS/SSL/SRTP Settings
Enable TLS -включить поддержку защищенных подключений по TLS;
Certificate Manager - включить сертификат для поддержки TLS. Его можно легко настроить в модуле Certificate Manager;
SSL Method - метод передачи SSL транспорта (только для TLS). По умолчанию используется sslv2;
Don't Verify Server - не запрашивать проверку сертификата сервере (настройка влияет только на TLS).;
MEDIA & RTP Settings
Reinvite Behavior - опция, которая позволяет перенаправить поток данных RTP в случае, если пир находится не за NAT (средствами RTP это можно детектировать по IP – адресам);
RTP Timeout - сброс канала, на котором отсутствует голосовые потоки (пакеты) RTP/RTCP в течение указанного времени. Важно отметить, что постановка вызова на hold не является триггером для данного поля настройки.;
RTP Hold Timeout -сбросить звонок, поставленный на удержание после истечения таймера (в секундах) этого поля;
RTP Keep Alive - отправлять Keep Alive сообщения (проверки жизнеспособности сервиса) для поддержки NAT – сессии (в случае постановки вызова на удержание особенно актуально);
Notification & MWI
MWI Polling Freq - частота в секундах, в рамках которой будет производиться проверка смены статуса MWI (световая индикация, Message Waiting Indication) и отправка статуса пирам;
Notify Ringing - опция позволяет контролировать состояние абонента, понимая, что его телефон используется (INUSE) получением пакета SIP 180 RINGING. Удобно при использовании BLF функционала;
Notify Hold - контроль абонента и перевод в состояние INUSE, если звонок поставлен на удержание (событие ONHOLD).;
Registration Settings
Registration Timeout - таймаут регистрации. По умолчанию, равен 20 секунд. Иными словами, каждые 20 секунд будет отправляться запрос на регистрацию, пока не будет превышено максимальное количество попыток;
Registration Attempts - количество попыток регистрации, после которого сервер примет решение перестать отправлять запросы. Если выставлено как 0, то количество запросов ограничено не будет. В нормальной ситуации, значение 0 является вполне рабочим – Asterisk будет продолжать посылать запросы на регистрацию до тех пор, пока очередная попытка не увенчается успехом;
Registration Minimum Expiry - минимальное время, в течение которого сессия регистрации будет считаться просроченной;
Registration Maximum Expiry - максимальное время, в течение которого сессия регистрации будет считаться просроченной (для входящих регистраций);
Registration Default Expiry - длительность входящих и исходящих регистраций по умолчанию;
Jitter Buffer Settings
Enable Jitter Buffer - данная опция активирует использование джиттер буффера на принимающей стороне в рамках одного SIP – канала;
Advanced General Settings
Default Context - контекст обработки вызова по умолчанию, если не указан иной контекст. Сам по себе FreePBX назначает данную опцию как from-sip-external. Вносите изменения только в том случае, если полностью понимаете, что делаете;
Bind Address - в данном поле указывается IP – адрес, на котором Asterisk будет ожидать запросы на телефонный процессинг, на порту, указанном в опции Bind Port. Если указано как 0.0.0.0, Asterisk будет принимать запросы на всех адресах, указанных в настройках ОС. Рекомендуем оставить эту опцию без изменений. Кстати, chan_sip не поддерживает IPv6 для транспорта UDP. Если укажите [::], Asterisk будет слушать все IPv4 и все IPv6 адреса. Если вы настолько круты, что используйте PJSip, то смело используйте IPv6 :)
Bind Port - локальный UDP (и TCP, если включено в опции Enable TCP) порт, на котором Asterisk слушает обращения к chan_SIP. Если оставить поле пустым, то по умолчанию будет использован порт 5060 (5160);
В более старых версиях FreePBX, использовался порт 5060 (когда только 1 SIP драйвер был в наличии). В более новых, используется 5160);
TLS Bind Address - TCP порт на котором Asterisk слушает TLS (защищенные) обращения. Конфигурация вида[::], слушает IPv4 и IPv6 на всех интерфейсах;
Важно: мы рекомендуем использовать PJSip для всех коммункаци на базе протокола IPv6;
TLS Bind Port - локальной порт для входящих TCP обращений в рамках TLS SIP пакетов;
Allow SIP Guests - если установлено в положение Yes, то Asterisk разрешит гостевые SIP звонки и обработает их в контексте from-sip-exernal (или значение дефолтного контекста, если меняли). Переключение в положение No позволит запретить так же и анонимные звонки;
Enable SRV Lookup - данная опция сильно зависит от используемой версии Asterisk. В корреляции с версией, SRV функционал имеет свои ограничения;
Enable TCP - включить TCP;
Call Events - важная опция если вы работаете с AMI (Asterisk Manager Interface). При включенной опции, вы сможете мониторить различных события в AMI, которые генерирует SIP UA (user agent). Данный функционал полезен при разработке собственных приложений. ;
Other SIP Settings - прочие SIP – настройки, которые вы можете указать вручную (добавить соответствующее поле и его значение);