По вашему запросу ничего не найдено :(
Убедитесь, что запрос написан правильно, или посмотрите другие
наши статьи:
Если вы когда-то пользовались какой-нибудь серверной версией Linux, то скорее всего сталкивались с командой curl. Эта мощная утилита системы Linux позволяет скачивать и загружать файлы на сервер и поддерживает более 20 протоколов.
Раньше мы писали про первые 15 примеров cURL в Linux. Статья зашла - это продолжение :)
cURL идеальная команда для взаимодействия с веб-сайтом или API, отправления запросов и получения ответов на терминал или с выводом в файл. Иногда она используется как часть сложного скрипта для передачи полученных данных другим функциям на дальнейшую обработку.
Наряду с получением файлов из сервера, cURL так же используется для закачки части вебсайта. Несмотря на то, что она довольно хорошо справляется с работой, но всё же wget лучше наточен под такую работу.
В конце материала мы рассмотрим несколько отличий и сходств этих двух утилит, но а пока расскажем как пользоваться утилитой curl.
Скачивание файла
Самая базовая команда, которую можно дать утилите cURL это скачать сайт или файл. По умолчанию, cURL использует протокол HTTP, но мы можем задать любой другой. Чтобы открыть исходный код сайта просто нужно ввести команду:
$ curl http://www.google.com
Когда мы вводим указанную команду, окно терминала заполняется HTML и другим кодом, используемым для создания веб страницы, но от такого вывода мало пользы. Изменим команду так, чтобы вывод перенаправлялся в HTML файл, чтобы затем можно было просмотреть содержимое.
$ curl www.likegeeks.com --output likegeeks.html
Теперь файл можно открыть любым браузером.
Если нужно скачать какой-то файл, то команда остается та же. Только нужно добавить опцию output, как мы и сделали ранее. Если не сделать команда вернёт бинарный код файла, что может привести к сбою.
Ниже показано что мы видим при попытке загрузить Word документ размером 500Кб.
Файл начинает закачиваться, и мы видим текущий статус закачки. Когда загрузка завершится файл будет расположен по пути, указанной во время запуска команды. Если такового не было указано, то файл будет расположен в текущей директории.
Также, вы, наверное, заметили ключ L в команде. При загрузке файла этот ключ необходим, но о его назначении поговорим чуть позже.
Отслеживание редиректа
Если после выполнения команды ничего не вернулось это значит, что на сайте есть редирект (переадресация) на другую ссылку, но cURL не понимает этого. Это можно исправить, указав ключ L при вводе команды.
Во время подготовки материала мы заметили, что данный ключ нужен в подавляющем большинстве случаев. Так что возьмите себе эту фишку на вооружение.
Остановка и продолжение скачивания
Если во время закачки файла что-то пошло не так или же качаете большой файл, но ввиду каких-то причин не хотите делать это за одну сессию, cURL предоставляет возможность остановки и продолжения закачки.
Чтобы остановить процесс вручную, нужно нажать комбинацию CTRL+C, которая используется для остановки почти всех процессов, запущенных в терминале.
Итак, загрузка была начата, но мы прервали её комбинацией клавиш, а теперь нам нужно продолжить закачку. Для этого вводим следующую команду.
$ curl -C - example.com/some-file.zip --output MyFile.zip
Ключ C говорит утилите cURL продолжить закачку, но обратите внимание, что сразу после ключа указан дефис. Этот дефис указывает команде перед продолжением просмотреть уже закачанную часть, чтобы понять с какого места нужно продолжать загрузку.
Закачка продолжилась и успешно завершилась.
Указание времени выполнения команды
Если нужно чтобы прервать выполнение команды cURL по истечении указанного времени, мы можем указать таймер выполнения команды. Это особо полезно так как некоторые операции выполняются бесконечно, что может привести к зависанию системы. Чтобы избежать этого можно указать максимальный период в секундах, по истечении которого cURL прервёт выполнение команды. Вышесказанное реализуется следующим образом:
$ curl -m 60 example.com
Также есть возможность указать в течении какого времени держать соединение активным. Это позволит избежать бесконечных попыток соединения с узлом, который не доступен. Эта опция тоже в качестве аргумента принимает значение в секундах. А команда выглядит так:
$ curl --connect-timeout 60 example.com
Указание логина и пароля
Утилита cURL позволяет указывать имя пользователя и пароль при подключении. Чаще всего это нужно при аутентификации на FTP сервере. Для этого используется ключ u. Синтаксис команды указан ниже:
$ curl -u username:password ftp://example.com
Данную опцию можно использовать с любым протоколом, но FTP является самым распространённым для простой передачи файлов.
Если нужно скачать файл указанный на скриншоте ниже запускаем ту же команду, только указываем полный путь к нужному документу.
$ curl -u username:password ftp://example.com/readme.txt
Использование прокси
cURL можно указать, чтобы подключение выполнялось через прокси сервер. По умолчанию, она использует HTTP прокси, но можно указать и другие. Чтобы направить трафик через прокси используется ключ x.
$ curl -x 192.168.1.1:8080 http://example.com
Данная команда обязует cURL подключиться к прокси по адресу 192.168.1.1 на порту 8080 перед обращением на example.com
Прокси можно использовать и с другими протоколами. Ниже показан пример использования прокси сервера для получения файла с фтп сервера.
$ curl -x 192.168.1.1:8080 ftp://example.com/readme.txt
cURL поддерживает много типов прокси и соответствующих ключей, но охватить их всех в одном руководстве сложно. Для более подробной информации о туннелировании, SOCKS прокси, аутентификации и т.п. можете прочитать man по команде cURL.
Загрузка больших файлов по частям
Мы уже показывали как можно остановить и запустить закачку, но что если мы хотим скачать файл большого размера по частям? cURL имеет и такую возможность. Чтобы реализовать это достаточно указать ключ -range и размер загружаемой части. Размер должен быть указан в байтах.
Чтобы скачать последнюю версию Ubuntu частями по 100 МБ нужно прописать следующую команду:
$ curl --range 0-99999999 http://releases.ubuntu.com/18.04/ubuntu-18.04.3-desktop-amd64.iso ubuntu-part1
Во вторая команде нужно указать с какого байта начинать загрузку. И так пока не скачается весь файл.
$ curl --range 100000000-199999999 http://releases.ubuntu.com/18.04/ubuntu-18.04.3-desktop-amd64.iso ubuntu-part2
Затем просто нужно собрать воедино скачанные части:
$ cat ubuntu-part? > ubuntu-18.04.3-desktop-amd64.iso
Аутентификация по сертификату
Для подключения к сайту использованием сертификата вместо обычной аутентификации можно указать опцию cert и путь к сертификату.
$ curl --cert path/to/cert.crt:password ftp://example.com
cURL поддерживает большое количество форматов сертификатов и имеет очень много опций для работы с ними: -cacert, cert-status, -cert-type, и т.д. Для списка всех ключей посмотрите man.
Тихий режим
Если вас раздражают разные сообщения об ошибках во время работы с cURL, то можно запустить её в тихом режиме. Для этого используется ключ s. Но, чтобы увидеть результат выполнения команды вывод нужно перенаправить в файл. Для сохранения файла в текущей директории просто нужно указать ключ O.
$ curl -s -O http://example.com
Как альтернатива, команду можно запустить с опцией --output и указать название и путь к месту сохранения файла.
$ curl -s http://example.com --output index.html
Получение заголовков
cURL позволяет легко получать заголовков какого-либо сайта. Для этого достаточно запустить команду с ключом I.
$ curl -I example.com
Если запустить команду с ключами I и L совместно, то cURL выведёт заголовки даже если на сайте стоит переадресация.
Множественные заголовки
Команде cURL можно передать и заголовки. Для этого есть ключ H. Для передачи нескольких заголовков перед каждым из них нужно поставить данный ключ.
$ curl -H 'Connection: keep-alive' -H 'Accept-Charset: utf-8 ' http://example.com
POST Закачка файла на сервер
POST самый распространённый метод получения данных на веб-сайтах. Например, когда заполняете форму на сайте, скорее всего данные из форм передаются серверу методом пост. Чтобы отправить сайту данные этим методом нужно использовать ключ d.
$ curl -d 'name=geek&location=usa' http://example.com
Чтобы загрузить файл вместо текста нужно ввести следующую команду
$ curl -d @filename http://example.com
Используйте ключ d столько раз, сколько данных или файлов нужно отправить на сайт.
Чтобы загрузить файл через протокол FTP используйте ключ T
$ curl -T myfile.txt ftp://example.com/some/directory/
Отправка почты
Отправка почты это один из видов загрузки данных на почтовый сервер. Так как cURL может загружать файлы, то мы можем использовать ее и для отправки почты. Есть много вариантов сделать это, но здесь мы рассмотрим, как посылать почты через SMTP сервер.
$ curl smtp://mail.example.com --mail-from me@example.com --mail-rcpt john@domain.com --upload-file email.txt
Учтите, что файл e-mail должен быть отформатирован нужным образом. Что-то вроде этого:
$ cat email.txt
From: Web Administrator <me@example.com>
To: John Doe <john@domain.com>
Subject: An example email
Date: Sat, 7 Dec 2019 02:10:15
John,
Hope you have a great weekend.
-Admin
Как всегда, за подробной информацией можете обратиться к man.
Чтение почты
Для получения почты используется IMAP и POP3 и сurl поддерживает оба протокола. Зайдем на почту используя протокол IMAP:
$ curl -u username:password imap://mail.example.com
Данная команда выведет список доступных почтовых ящиков, но не покажет их содержание. Чтобы прочитать письмо нужно указать UID письма аргументов для опции X.
$ curl -u username:password imap://mail.example.com -X 'UID FETCH 1234'
Разница между cURL и wget
Иногда пользователей путаются между curl и wget, так как обе они могут получать информацию с сервера. Но это единственное сходство между ними.
В этом материале мы показали возможности curl. wget дает другие возможности. wget лучшая утилита для скачивания файлов, а также у него есть возможность делать это рекурсивно, переходя по всем ссылкам и директория и скачать сайт полностью.
Таким образом, если вам нужно скачать все исходные файлы сайта используйте wget. Если же используется протокол отличный от HTTP или HTTPS, или нужно закачать файл на сервер, выберите curl. cURL удобен для скачивания одиночных файлов, хотя и wget неплохо справляется с данной задачей.
Само слово состоит из двух частей - Dev (Development), то есть разработка и Ops (Operations) - эксплуатация.
Разработка и эксплуатация. Ок, запомнили. Но что это конкретно? Танец? Напиток? Профессия?
Не совсем, девопс - это модель взаимодействия тех, кто пишет код с теми, кто этот код заставляет работать - раскатывает в продакшн, управляет серверами, сетью и вот этим вот всем. Такая профессия называется ДевОпс-инженер
Любая компания, которая делает деньги на разработке программного обеспечения, хочет быстро расти, быть технологичнее и быстрее своих конкурентов, при это не забывать о наличии печенек и вкусного чая на кухне в офисе.
У серьезных компаний большая и сложная инфраструктура: куча серверов, коммутаторов, маршрутизаторов, и все это еще и раскидано географически по миру. А чтобы код их приложения заработал у пользователей, без лагов, багов и задержек, нужно учесть кучу факторов!
До появления методологии DevOps, при разработке, могли возникать случаи, когда что-то не работает, или работает не так, как хотелось бы:
«Мой код превосходен, а сервера сконфигурированы хреново, а еще ваша сеть, кхм-кхм, - говно» - говорит разработчик
«Сеть работает отлично, задержка в пределах нормы, а вы там что то наговнокодили» - парирует администратор
И понеслась. У сетевого администратора не хватало компетенций и информации о том как надо настраивать сервера, в результате чего приходилось подключать для этого разработчиков, у которых в свою очередь не было компетенций админов.
Короче, ДевОпс инженер это по сути системный администратор который работает с программным обеспечением, серверами и сетью, а также понимает как происходит процесс разработки и умеет программировать. Новый виток эволюции админа, который умеет больше и, конечно, получает больше денег.
Девопс исключит перекидывание мячика из отдела разработки к администраторам, значительно ускорит релизы новых фич и исправлений в продукте, откроет дорогу к легкому масштабированию и повышению надежности инфраструктуры, превратит вашу разработку в полноценный конвейер, даст прохладу, влажность и, скорее всего, силу земли
Итак, вот базовые вещи, которые должен знать девопс инженер:
Легко ориентироваться в Windows и Linux операционных системах - кстати, по ним у нас есть собственные курсы и никто не помешает тебе пройти бесплатный вводный урок по ссылке.
Нужно знать сетевые технологии на уровне Cisco CCNA - вот это совпадение! У нас также есть большой курс по сетевым технологиям, который поможет тебе познать самые нужные сетевые аспекты работы DevOps.
ДевОпс должен знать инструменты для управления конфигурацией и автоматизации серверов Chef, Puppet, Ansible.
И уметь писать скрипты. Ну минимум на Python. Зачем это надо? Как раз чтобы работать с этими инструментами.
Этого достаточно, чтобы уже получать в среднем по РФ 100-200 тысяч рублей!
Ну и как видавшие девопсов добавим, что будет отлично так же знать:
Про непрерывную интеграцию и доставку (CI/CD) – сборка и тестирование конечного продукта (Jenkins, TeamCity, Bamboo)
Распределенный контроль версий (Git, Mercurial, Subversion, CVS)
Контейнеризацию и оркестровку (Docker, Kubernetes, Docker Swarm)
Управление инфраструктурой как кодом (Puppet, Chef, Ansible, Salt)
Виртуализацию (Vagrant, VMware)
Подробнее об этих и других инструментах можно прочитать в этой статье.
Привет! Сегодня мы оговорим немного о базовой сетевой безопасности, а именно о Port-Security и о том, как его настроить на коммутаторах Cisco.
Для начала разберемся, что же вообще такое Port-Security. Port-Security – это функция коммутатора, при помощи которой мы можем указать каким устройствам можно пропускать трафик через определенные порты. Устройство определяется по его MAC-адресу.
Эта функция предназначена для защиты от несанкционированного подключения к сети и атак, направленных на переполнение таблицы MAC-адресов. При помощи нее мы можем указывать конкретные адреса, с которых разрешен доступ или указывать максимальное количество MAC-адресов, которые могут передавать трафик через порт.
Типы Port-Security
Существует несколько способов настройки port-security:
Статические MAC-адреса – MAC-адреса, которые вручную настроены на порту, из режима конфигурации порта при помощи команды switchport port-security mac-address [MAC-адрес] . MAC-адреса, сконфигурированные таким образом, сохраняются в таблице адресов и добавляются в текущую конфигурацию коммутатора.
Динамические MAC-адреса - MAC-адреса, которые динамически изучаются и хранятся только в таблице адресов. MAC-адреса, сконфигурированные таким образом, удаляются при перезапуске коммутатора.
Sticky MAC-адреса - MAC-адреса, которые могут быть изучены динамически или сконфигурированы вручную, затем сохранены в таблице адресов и добавлены в текущую конфигурацию.
Sticky MAC-адреса
Если необходимо настроить port-security со sticky MAC-адресами, которые преобразуются с из динамически изученных адресов и добавляются в текущую конфигурацию, то необходимо настроить так называемое sticky изучение. Для того чтобы его включить необходимо на интерфейсе коммутатора выполнить команду switchport port-security mac-address sticky из режима конфигурации интерфейса.
Когда эта команда введена, коммутатор преобразует все динамически изученные MAC-адреса (включая те, которые были динамически изучены до того, как было включено sticky обучение) к sticky MAC-адресам. Все sticky MAC-адреса добавляются в таблицу адресов и в текущую конфигурацию.
Также sticky адреса можно указать вручную. Когда sticky MAC-адреса настроены при помощи команды switchport port-security mac-address sticky [MAC-адрес], все указанные адреса добавляются в таблицу адресов и текущую конфигурацию.
Если sticky MAC-адреса сохранены в файле конфигурации, то при перезапуске коммутатора или отключении интерфейса интерфейс не должен будет переучивать адреса. Если же sticky адреса не будут сохранены, то они будут потеряны.
Если sticky обучение отключено при помощи команды no switchport port-security mac-address sticky , то эти адреса будут оставаться в таблице адресов, но удалятся из текущей конфигурации.
Обратите внимание, что port-security не будут работать до тех пор, пока не будет введена команда, включающая его - switchport port-security
Нарушение безопасности
Нарушением безопасности являются следующие ситуации:
Максимальное количество MAC-адресов было добавлено в таблицу адресов для интерфейса, а устройство, MAC-адрес которого отсутствует в таблице адресов, пытается получить доступ к интерфейсу.
Адрес, полученный или сконфигурированный на одном интерфейсе, отображается на другом интерфейсе в той же VLAN.
На интерфейсе может быть настроен один из трех режимов реагирования при нарушении:
Protect - когда количество MAC-адресов достигает предела, разрешенного для порта, пакеты с неизвестными исходными адресами отбрасываются до тех пор, пока не будет удалено достаточное количество MAC-адресов или количество максимально допустимых адресов для порта не будет увеличено. Уведомление о нарушении безопасности отсутствует в этом случае.
Restrict – то же самое, что и в случае Protect, однако в этом случае появляется уведомление о нарушении безопасности. Счетчик ошибок увеличивается
Shutdown – стандартный режим, в котором нарушения заставляют интерфейс немедленно отключиться и отключить светодиод порта. Он также увеличивает счетчик нарушений. Когда порт находится в этом состоянии (error-disabled), его можно вывести из него введя команды shutdown и no shutdown в режиме конфигурации интерфейса.
Чтобы изменить режим нарушения на порту коммутатора, используется команда port-security violation {protect | restrict |shutdown} в режиме конфигурации интерфейса.
.tg {border-collapse:collapse;border-spacing:0;}
.tg td{font-family:Arial, sans-serif;font-size:14px;padding:10px 5px;border-style:solid;border-width:1px;overflow:hidden;word-break:normal;border-color:black;}
.tg th{font-family:Arial, sans-serif;font-size:14px;font-weight:normal;padding:10px 5px;border-style:solid;border-width:1px;overflow:hidden;word-break:normal;border-color:black;}
.tg .tg-fymr{font-weight:bold;border-color:inherit;text-align:left;vertical-align:top}
.tg .tg-0pky{border-color:inherit;text-align:left;vertical-align:top}
Режим реагирования
Передача траффика
Отправка сообщения syslog
Отображение сообщения об ошибке
Увеличение счетчика нарушений
Выключение порта
Protect
Нет
Нет
Нет
Нет
Нет
Restrict
Нет
Да
Нет
Да
Нет
Shutdown
Нет
Нет
Нет
Да
Да
Настройка
Рассмотрим пример настройки:
Switch#interface fa0/1 – заходим в режим конфигурации порта
Switch(config-ig)#switchport mode access – делаем порт access
Switch(config-ig)#switchport port-security – включаем port-security
Switch(config-ig)#switchport port-security maximum 50 – задаем максимальное количество адресов на порту
Switch(config-ig)#switchport port-security mac-address sticky – включаем sticky изучение
Если мы не будем ничего уточнять и просто включим port-security командой switchport port-security в режиме конфигурации интерфейса, то максимальное количество адресов на порту будет один, sticky изучение будет выключено, а режим нарушения безопасности будет shutdown.
Проверка порта
Чтобы отобразить параметры port-security используется команда show port-security [номер_интерфейса] .
Чтобы отобразить все защищенные MAC-адреса используется команда show port-security address.