По вашему запросу ничего не найдено :(
Убедитесь, что запрос написан правильно, или посмотрите другие
наши статьи:
В производственной среде даже минимальное время простоя недопустимо. Это может привести к потере доходов и, что хуже всего, репутации. Чтобы отладить возможные сценарии, которые приводят к простою, развертываются разные системы регистрации событий и мониторинга.
Это помогает экономить средства и своевременно выявлять проблемы, которые могут возникнуть в будущем.
В настоящее время большинство организаций, вне зависимости от размера, так или иначе использует принципы и инструменты DevOps. Наиболее популярны контейнеры и Kubernetes. И мониторинг такой системы проводится очень эффективно с помощью Prometheus. Но там, где Prometheus отстает – узкая часть. Она не обеспечивает централизованную систему логирования, и именно здесь на сцену выходит Loki.
Что такое Grafana Loki?
Grafana Loki - система агрегации логов с нескольких источников, запущенная компанией Grafana в 2018 году и выпущенная под лицензией Apache 2.0. Разработки системы были вдохновлены Prometheus. Он широко используется с поставщиками облачных технологий и такими инструментами, как Prometheus и Grafana.
Loki аналогичен стеку ELK/EFK, но его проще настроить и использовать, и предлагает лучшие функциональными возможностями. Loki не индексирует содержимое журнала, а индексирует метки времени и набор меток для потока журнала. Это делает индекс меньше, что упрощает операции и в конечном итоге снижает стоимость.
Преимущества Loki
Ниже приведены преимущества использования Loki в стеке:
Благодаря индексации только метаданных, Loki очень экономичен. Выполнение индексов для полнотекстовой обработки требует большей оперативной памяти, которая стоит дорогой. Хранение журналов на объектах хранения, как S3, также уменьшает себестоимость.
Он поддерживает использование нескольких источников с использованием tenantID, поэтому данные из каждого ресурса хранятся отдельно.
Loki можно запускать локально для небольших операций или легко масштабировать по горизонтали для крупномасштабных операций.
Он использует динамический стиль для обеспечения согласованности кворума для операций чтения и записи.
По умолчанию он настроен на создание 3 реплик журналов для защиты от сбоев процессов и внезапных выходов с места потери журналов. Да, это повлечет за собой дополнительные расходы, но не такие высокие – целостность данных более критична.
Легко интегрируется с такими популярными инструментам, как Kubernetes, Prometheus и визуализация в Grafana.
Архитектура Loki
Архитектура Loki состоит из трех компонентов - Promtail, Loki и Grafana.
Promtail - это агент, который должен быть установлен на каждом узле, на котором выполняются приложения или службы. Основной обязанностью Promtail является обнаружение цели, прикрепление меток к потокам подов, и сохранение этих логов в экземпляры Loki. Агент promtail передает журналы из локальной файловой системы на центральный сервер Loki. После этого можно выполнить обратный запрос журналов с помощью Grafana.
Сценарии использования Loki
Ниже приведены популярные сценарии использования системы ведения журнала, подобных Loki.
Бизнес-аналитика: Это, пожалуй, самый распространённый пример использования, создание действенного понимания на основе данных журнала всегда может быть очень полезным. Loki может помочь в понимании данных журнала и даст возможность создавать новые стратегии для роста бизнеса. Например, с помощью данных журнала организации можно узнать коэффициенты эффективности рекламного канала.
Мониторинг: Prometheus часто используется для мониторинга в разных отраслях. Но вы можете многое идентифицировать, отслеживая свои журналы с помощью таких инструментов, как Loki. Она, просматривая журналы и отправляя предупреждения после превышения порога, поможет вам отслеживать частоту ошибок на вашем веб-сайте.
Отладка и устранение неполадок: Loki может помочь команде DevOps быстро находить ответ на такие вопросы, как когда произошел сбой приложения, причина его сбоя, его последний статус перед сбоем и т.д.
Кибербезопасность: За последние несколько лет число кибератак на порталы электронной коммерции увеличивается в геометрической прогрессии. С помощью Loki можно выполнить проверку журналов, чтобы выявить любые угрозы, проблемы или вредоносные действия, происходящие в системе вашей организации. Если взлом был успешным, Loki мог бы быть полезным для криминалистов, чтобы детально понять, что происходило в системе. Это поможет им отследить хакеров.
Соблюдение норм: Для соблюдения отраслевых норм организации должны вести журналы аудита до 7 лет. Местные власти могут проверять журналы в любое время. Loki может безопасно хранить ваши журналы аудита.
Установка Loki и Promtail
Далее покажем, как установить и визуализировать журналы на Grafana. В этой демонстрации мы используем общую конфигурацию, которая будет собирать журналы из /var/log/* log.
Перейдите на страницу релизов Loki на Github, прокрутите вниз до Assets. Здесь вы найдете несколько пакетов Loki и Promtail. Загрузите пакет Loki в соответствии с используемой системой. Не устанавливайте пакеты cli или canary Loki. Я загружаю loki-linux-amd64.zip и promtail-linux-amd64.zip для моей системы Ubuntu.
После завершения загрузки разархивируйте файлы Loki и Promtail и поместите их в единый каталог.
Теперь загрузите общий файл конфигурации Loki и Promtail.
Чтобы запустить Loki, выполните приведенную ниже команду с файлом конфигурации Loki. Это приведет к запуску Loki и отображению журналов Loki в терминале.
loki-linux-amd64 loki-local-config.yaml promtail-linux-amd64 promtail-local-config.yaml
Чтобы запустить Promtail, выполните приведенную ниже команду с файлом конфигурации Promtail. Promtail должен получить журналы в Loki.
./loki-linux-amd64 -config.file=loki-local-config.yaml
Визуализация логов с помощью Loki и Grafana
Grafana обеспечивает встроенную поддержку Loki. Loki уже присутствует в источниках данных Графаны.
Шаг 1. Перейдите к разделу Конфигурации Grafana и нажмите кнопку Data Sources (Источники данных).
Шаг 2. В окне источников данных можно выполнить поиск источника по имени или типу.
Шаг 3. Введите в строку поиска слово Loki. Этот источник данных уже присутствует в Grafana. Нажмите кнопку Select (Выбрать).
Шаг 4. Введите имя, которое вы хотите дать источнику данных, и поместите http://localhost:3100 (измените его на IP-адрес сервера, если Loki работает на сервере, отличном от Grafana) в строку URL. Порт прописываем потому, что мы запустили Loki на порту 3100.
Нажмите кнопку Save and Test внизу. Если настройка Loki выполнена правильно, появится следующее сообщение в зеленом поле.
Шаг 5.Нажмите на вкладку Explore (Обзор) на левой части панели. Выберите Loki в раскрывающемся списке выбора источника данных. Теперь неплохо было бы визуализировать активность журналов Grafana. Для этого необходимо добавить запрос {filename = "/var/log/grafana/grafana.log "} в строку обозревателя журналов. Зеленые полосы ниже представляют собой записи событий в файле журнала.
Можно выбрать временной диапазон, для которого визуализация должна отображаться на панели мониторинга, а также задать интервал обновления запроса. Чтобы просмотреть более подробную информацию о событии, прокрутите вниз и щелкните по одной из записей журнала, она выведет всю имеющуюся информацию, связанные с данным событием.
Заключение
Распределенная система состоит из множества приложений или микросервисов, каждый из которых генерирует тысячи событий. Нужен экономичный способ сбора журналов, их хранения и последующего использования. Loki - идеальное решение для таких случаев. Фактически, за счет интеграции Loki в производственную среду, затраты на ведение журналов и мониторинг можно сократить до 75%.
В этой статье произведем настройку туннеля IPSec между Palo Alto и Cisco ASA Firewall. Далее будет использован брандмауэр Palo Alto с прошивкой PANOS 8.1.10. Хотя, конфигурация почти такая же и в других версиях PANOS. Для понимания этой статьи вам необходимы базовые знания по IPSec VPN. Для настройки этой конфигурации вам не нужна дополнительная лицензия на обоих устройствах. Для настройки туннеля IPSec необходимо иметь статический маршрутизируемый IP- адрес. Итак, давайте начнем настройку!
Как настроить IPSec VPN между Cisco ASA и брандмауэром Palo Alto
Что нужно сделать - настроить туннель IPSec между Cisco ASA и брандмауэром Palo Alto
Как выше говорилось, вам понадобиться статический маршрутизируемый IP-адрес как в Palo Alto, так и в брандмауэре Cisco ASA. В этом примере я использую два маршрутизируемых IP- адреса на обоих брандмауэрах Palo Alto и Cisco ASA (между ними настроена связь, и они доступны друг другу). IP-адрес 1.1.1.1 настроен на брандмауэре Cisco ASA и 2.2.2.2 настроен на брандмауэре Palo Alto как показано ниже:
Как вы заметили, подсеть LAN 192.168.1.0/24 связана с Cisco ASA, а с другой стороны, подсеть LAN 192.168.2.0/24 связана с брандмауэром Palo Alto. Прежде чем перейти к части конфигурации, просто проверьте доступность обоих устройств с помощью утилиты ping.
admin@PA-220> ping host 1.1.1.1
PING 1.1.1.1 (1.1.1.1) 56(84) bytes of data
64 bytes from 1.1.1.1: icmp_seq1 ttl=64 time=0.177 ms
64 bytes from 1.1.1.1: icmp_seq2 ttl=64 time=0.157 ms
Шаги по настройке туннеля IPSec на брандмауэре Palo Alto
Во-первых, мы настроим туннель IPSec на брандмауэре Palo Alto. Для настройки фазы 1 и фазы 2 туннеля IPSec в Palo Alto необходимо выполнить следующие действия.
Создание зоны безопасности на брандмауэре Palo Alto
Во-первых, нам нужно создать отдельную зону безопасности на брандмауэре Palo Alto. Для того чтобы настроить зону безопасности, вам нужно перейти Network >> Zones>> Add. Здесь вам нужно указать название зоны безопасности. Вы можете ввести любое удобное имя.
Создание туннельного интерфейса на брандмауэре Palo Alto
Вам необходимо определить отдельный виртуальный туннельный интерфейс для туннеля IPSec. Чтобы определить интерфейс туннеля, перейдите в раздел Network >> Interfaces>> Tunnel. Выберите виртуальный маршрутизатор, который в моем случае используется по умолчанию. Кроме того, в файле зоны безопасности необходимо выбрать зону безопасности, определенную на Шаге 1. Хотя для этого интерфейса вам не нужно указывать IP-адрес IPv4 или IPv6. Кроме того, вы можете прикрепить профиль управления на вкладке Advanced, если вам это нужно.
Определение IKE Crypto Profile [Фаза 1 туннеля IPSec]
Теперь вам нужно определить фазу 1 туннеля IPSec. Вам нужно зайти Network >> Network Profiles >> IKE Crypto >> Add. Здесь вам нужно дать дружественное имя для IKE Crypto profile. Затем определите DH группу, метод шифрования и аутентификации. По умолчанию срок службы ключа составляет 8 часов. Вы можете изменить его в соответствии с вашим требованием.
Определение Crypto Profile IPSec [Фаза 2 туннеля IPSec]
Теперь вам нужно определить фазу 2 туннеля IPSec. Вам нужно перейти Network>> Network Profiles >> IPSec Crypto >> Add. Здесь, вы должны дать понятное имя для профиля шифрования по протоколу IPSec. Выберите протокол IPsec в соответствии с вашими требованиями. У вас есть ESP (Encapsulation Security Protocol) и AH (Authentication Header) протокол для IPSec. Затем определите группу DH, метод шифрования и аутентификации. По умолчанию срок службы ключа составляет 1 час. Вы можете изменить его в соответствии с вашим требованием.
Определение профиля шлюза IKE
Теперь вам нужно перейти Network >> Network Profiles >> IKE Gateways >> Add. На вкладке Общие (General) необходимо определить имя профиля шлюза IKE. В поле Interface вам нужно ввести/определить свой интернет-интерфейс, в моем случае ethernet1/1, который имеет IP-адрес 2.2.2.2. Установите переключатель в поле Peer IP Address Type в IP. Укажите адрес в поле Peer address, в моем случае 1.1.1.1. Выберите метод аутентификации в поле Authentication, т. е. выберите или общий ключ (Pre Shared Key) или сертификат (Certificate). В этом сценарии я использую предварительный общий ключ (Pre-shared Key). Затем определите предварительный общий ключ (Pre-shared Key) и запишите его, потому что он нужен для определения в FortiGate Firewall. Введите в поля Local Identification и Peer Identification локальный и удаленный IP-адреса.
Нажмите на Advanced Option, в IKEv1 выберите Ike Crypto Profile, который определяется на Шаге 3.
Создание туннеля IPSec
Мы определили шлюз IKE и IPSec Crypto profile для нашего туннеля IPSec. Теперь мы должны определить туннель IPSec. Перейдите в раздел Network >> IPSec Tunnels >> Add. Определите удобное имя для туннеля IPSec. Затем выберите туннельный интерфейс, который определен в шаге 2. Выберите профили для Ike Gateway и IPsec Crypto Profile, которые определены в шаге 3 и шаге 5 соответственно.
Перейдите на вкладку идентификаторы (IDs) прокси-серверов и определите локальные и удаленные сети. В этом сценарии я использую подсети 192.168.1.0/24 и 192.168.2.0/24 в LAN.
Создание политики безопасности для туннельного трафика IPSec
Теперь вам нужно создать профиль безопасности, который позволяет передавать трафик из зоны VPN в зону доверия. Вам нужно перейти Policies >> Security >> Add, чтобы определить новую политику.
Настройка маршрута для одноранговой частной сети
Теперь вам нужно предоставить статический маршрут для частной сети. Просто перейдите в раздел Network >> Virtual Routers >> Default >> Static Routes >> Add. Выберите имя для этого маршрута и определите целевую сеть для этого маршрута, т.е. 192.168.1.0/24 в данном примере. Выберите следующий переход к туннельному интерфейсу, который определен в шаге 2.
Мы закончили настройку туннеля IPSec в брандмауэре Palo Alto. Теперь мы настроим туннель IPSec в FortiGate Firewall.
Этапы настройки туннеля IPSec в брандмауэре Cisco ASA
Теперь мы настроим туннель IPSec в брандмауэре Cisco ASA. Здесь, в этом примере, я использую программное обеспечение Cisco ASA версии 9.8 (1). Хотя конфигурация туннеля IPSec такая же и в других версиях.
Ниже показаны основные шаги настройки IPSec на Cisco ASA:
Настройка фазы 1 (IKEv1)
Определение туннельной группы (Tunnel Group) и предварительного общего ключа (Pre-Shared Key)
Настройка фазы 2 (IPSec)
Настройка расширенного ACL (Extended ACL) и криптографической карты (Crypto Map)
Итак, давайте начнем настройку с настройки фазы 1 Cisco ASA. Перейдите в режим глобальной конфигурации Cisco ASA и начните с приведенных ниже команд
Настройка фазы 1 (IKEv1) на Cisco ASA
ciscoasa(config)# crypto ikev1 enable outside
ciscoasa(config)# crypto ikev1 policy 10
ciscoasa(config-ikev1-policy)# authentication pre-share
ciscoasa(config-ikev1-policy)# encryption 3des
ciscoasa(config-ikev1-policy)# hash md5
ciscoasa(config-ikev1-policy)# group 2
ciscoasa(config-ikev1-policy)# lifetime 7200
Теперь давайте быстро разберемся в значении каждой команды.
Encryption: 3des – используется для шифрования трафика фазы 1
Хэш: md5 – это алгоритм хеширования. Он аутентифицирует наши данные с помощью хэша
Group: 2 – Диффи Хеллман группа 2
Authentication – в этом примере мы используем предварительный общий ключ в качестве аутентификации
Lifetime: 7200 – 86400 срок службы по умолчанию для Фазы 1
В Cisco ASA нам нужно включить криптографию IKEv1 к интерфейсу, обращенному к интернету. Итак, мы можем сделать это с помощью приведенной ниже команды:
ciscoasa(config)# crypto ikev1 enable outside
Настройка туннельной группы и предварительного общего ключа на Cisco ASA
Теперь нам нужно определить туннельный интерфейс и предварительный общий ключ. В этой статье я использую сеть GNS3 в качестве предварительного общего ключа.
ciscoasa(config)# tunnel-group 2.2.2.2 type ipsec-l2l
ciscoasa(config)# tunnel-group 2.2.2.2 ipsec-attributes
ciscoasa(config-tunnel-ipsec)# ikev1 pre-shared-key GNS3Network
Настройка IPSec IKEv1 (Фаза 2)
Здесь нам нужно определить методы шифрования и аутентификации для IPSec Фазы 2
ciscoasa(config-ikev1-policy)# crypto ipsec ikev1 transform-set ESP-AES-SHA esp-3des esp-md5-hmac
ciscoasa(config)# crypto ipsec security-association lifetime seconds 7200
А теперь давайте быстро разберемся в каждой команде.
ESP: ESP означает инкапсулирование полезной нагрузки безопасности, и это протокол IPSec
3DES: 3DES – это один из алгоритмов шифрования
MD5: MD5 – это алгоритм хеширования, который используется для поддержания целостности данных
7200 секунд: срок службы ключа IPSec Phase2
Настройка криптографической карты (Crypto MAP) и расширенного ACL (Extended ACL) для разрешения трафика IPSec на Cisco ASA
Это заключительный этап нашей конфигурации. Здесь нам нужно определить расширенный ACL, чтобы разрешить трафик. Кроме того, здесь нам нужно настроить криптокарту и вызвать настроенную криптокарту на внешний интерфейс. Я настраиваю два адресных объекта для упрощения списка управления доступом (ACL).
Адресный объект и расширенный ACL для разрешения трафика
ciscoasa(config)# object-group network local-network
ciscoasa(config-network-object-group)# network-object 192.168.1.0 255.255.255.0
ciscoasa(config-network-object-group)# object-group network remote-network
ciscoasa(config-network-object-group)# network-object 192.168.2.0 255.255.255.0
ciscoasa(config-network-object-group)# access-list asa-paloalto-vpn extended permit ip object-group local-network object-group remote-network
Настройка криптографической карты
ciscoasa(config)# crypto map outside_map 10 match address asa-paloalto-vpn
ciscoasa(config)# crypto map outside_map 10 set pfs group2
ciscoasa(config)# crypto map outside_map 10 set peer 2.2.2.2
ciscoasa(config)# crypto map outside_map 10 set ikev1 transform-set ESP-ASE-SHA
Включение криптокарты на внешнем интерфейсе
ciscoasa(config)# crypto map outside_map interface outside
Инициирование туннеля IPSec и проверка трафика с помощью Wireshark
На этом этапе мы просто должны инициировать трафик по туннелю IPSec. Если обе фазы туннеля IPSec работают, то ваша настройка идеальна. Итак, давайте получим доступ к CLI брандмауэра Palo Alto и инициируем туннель IPSec:
admin@PA-VM>test vpn ipsec-sa
admin@PA-VM>test vpn ipsec-sa
Теперь давайте получим доступ к туннелям Device >> IPSec и проверим состояние только что созданного туннеля IPSec! Если оба фазовых туннеля находятся в состоянии UP, то они будут выглядеть так, как показано на рисунке ниже:
А теперь давайте запустим трафик с одного из брандмауэров. Я инициирую движения в направлении Palo Alto межсетевой экран от Cisco ASA.
ciscoasa# ping 192.168.2.1
Type escape sequence to abort
Sending 5, 100-byte ICMP Echos to 192.168.2.1, timeout is 2 seconds:
?!!!!
Success rate is 80 percent (4/5), round-trip min/avg/max = 30/30/30 ms
Первый пакет отбрасывается только из-за запроса и ответа ARP. Больше никакой пакет не будет отброшен.
Необязательно: если вы пытаетесь инициировать трафик от IP интерфейса Cisco ASA (т.е. в данном примере), вам нужно разрешить доступ управления к подсети.
ciscoasa(config)# management-access inside
Устранение неполадок в туннеле IPSec
В этой части этой статьи мы обсудим некоторые основные команды, которые помогут вам устранить неполадки туннеля IPSec, настроенного между Cisco ASA и маршрутизатором Cisco.
Устранение неполадок туннеля IPSec на брандмауэре Cisco ASA
ciscoasa# show running-config ipsec
ciscoasa# show running-config crypto ikev1
ciscoasa# show running-config crypto map
Устранение неполадок IPSec-туннель на брандмауэре Palo Alto
Давайте откроем Monitor >> System и воспользуемся фильтром "(subtype eq vpn)". Здесь вы найдете все журналы, связанные с VPN.
Если у вас возникли проблемы с туннелем IPSec, вы можете использовать следующие команды для запуска туннеля IPSec:
admin@PA-CM>test vpn ipsec-sa
admin@PA-CM>test vpn ipsec-sa
Анализ трафика IPSec через Wireshark
Во время настройки туннеля IPSec мы определили ESP (Encapsulating Security Payload) как протокол IPsec, поэтому весь реальный трафик, который идет к одноранговому концу, будет зашифрован с помощью этого протокола. Таким образом, вы найдете только ESP- пакеты в захвате пакетов, как показано ниже
Резюме
В этой статье мы настраиваем туннель IPSec между брандмауэром Cisco ASA и брандмауэром следующего поколения Palo Alto. Мы также обсудили алгоритмы шифрования и аутентификации. Однако для настройки IPSec VPN между двумя удаленными сетями необходимо использовать статические маршрутизируемые IP-адреса.
В интернете всегда можно легко найти информацию о веб-службах, которые базируются на SOAP и XML-RPC, а вот REST, почему-то, обделен вниманием. В рамках этой статьи будет рассмотрен базис этой архитектуры и ее практическое применение.
REST: что это?
REST является стилем архитектуры ПО для систем распределения (пример - всем известная www). Обычно с его помощью строят веб-службы. Рой Филдинг, который имеет прямое отношение к созданию протокола HTTP, ввел термин REST в начале века. После этого любую систему, которая поддерживала его, стали называть RESTFul. Доступный интерфейс контроля без ненужных слоев - вот что из себя представляет эта архитектура. Глобальный ID, а именно URL, определяет каждую очередную информационную единицу. Сам же URL характеризуется форматом, который находится в жестких рамках.
Что такое API
REST на практике
Если нет пустых прослоек, данные будут переданы в виде, аналогичном им самим. "Заворачивание" информации в XML не происходит, как в случае с SOAP и XML-RPC, также не используется и AMF, как это бывает с Flash. По сути, происходит чистая передача.
URL, на деле, является базовым ключом для единицы данных. Пример: вторая книга из стопки, лежащей на столе, будет интерпретирована как /book/2, а 145 страница в этой книге - /book/2/page/145. Это достаточно жесткий формат. Самое интересное, что он может присутствовать в любом внешнем источнике, будь то HTML или doc-файл.
Контроль информации сервиса
Протокол передачи данных - основа контроля и управления. Самый часто используемый протокол - это, само собой, HTTP, и для него команды действий выглядят так:
GET (получение);
PUT (добавление);
POST (изменение);
DELETE (удаление).
Поэтому Create/Read/Update/Delete-действия будут выполнены и с 4 указанными алгоритмами, и посредством GET и POST. Это позволит в некоторых случаях обойти негативные эффекты с использованием непринятых PUT и DELETE.
REST в построении веб-сервисов
Веб-сервис - приложение, которое работает в www с доступом, предоставленным через HTTP-протокол. Информационный обмен в рамках веб-сервиса осуществляется посредством формата XML. А это значит, что все данные из тела запросов будут всегда в аналогичном формате.
Для любой информационной единицы можно задать 5 вариантов действия:
GET /info/ (Index) используется для получения списка объектов. Конечно, полученный список будет ограничен заданным идентификатором.
GET /info/{id} (View) позволяет получить всю информацию об объекте.
PUT /info/ или POST /info/ (Create) осуществляет создание нового объекта.
POST /info/{id} или PUT /info/{id} (Edit) производит замену данных, соответствующих введенному идентификатору.
DELETE /info/{id} (Delete) удаляет данные, выделенные идентификатором.
Итоги
Очевидно, что REST, как архитектура, обладает интуитивными алгоритмами и отличается простотой в использовании. Если запрос получен, то определить, что именно он делает, можно немедленно, без форматных разбирательств. При передаче не используются дополнительные слои, что обеспечивает REST особую ресурсоемкость.
Для чего можно использовать?
Основное достоинство сервисов REST - дружественность. Рабочая связка с сайтом, flash, программой? Не важно, ведь алгоритмы парсинга XML и обработка запросов HTTP есть буквально везде. REST значительно упрощает все связанные с этим задачи. Конечно, на практике описанных здесь алгоритмов недостаточно, так как отсутствует защита данных. Но ввести в систему авторизацию и аутентификацию всегда можно при помощи HTTP Authentication.