По вашему запросу ничего не найдено :(
Убедитесь, что запрос написан правильно, или посмотрите другие
наши статьи:
Существует несколько факторов, которые следует учитывать при реализации решения SD-WAN. Одним из них является мониторинг сети. В этом посте мы рассмотрим некоторые проблемы SD-WAN и то, как мониторинг сети может помочь их преодолеть.
Исправление пути и аварийное переключение
Одним из преимуществ SD-WAN является исправление пути и автоматическое аварийное переключение. Эта функция доступна, когда маршрутизатор имеет несколько соединений, таких как MPLS, широкополосное соединение или LTE. В этом сценарии трафик можно направлять по разным линиям, что повышает надежность и качество. Например, если канал испытывает большие задержки или потерю пакетов, маршрутизатор может отправлять трафик через другой канал. Некоторые решения SD-WAN даже дублируют пакеты по двум каналам, увеличивая вероятность того, что трафик достигнет другого конца.
Эти изменения трафика могут оказать немедленное положительное влияние, но могут отрицательно повлиять на сквозную производительность. Например, маршрутизатор может маршрутизировать трафик через канал с более низкой скоростью, замедляя соединение. В случае дублирования пакетов общая полоса пропускания, доступная пользователям, уменьшается. В результате приложения могут работать медленнее, чем до корректирующего действия, которое заставляет пользователей жаловаться. Устранение проблем такого рода очень сложно без правильной информации.
Сквозные сетевые тесты
Сквозные сетевые тесты (end-to-end) предоставляют полезные данные для устранения проблем, подобных той, что проиллюстрирована ранее. Для наиболее важных служб и приложений, используемых в удаленном филиале, инструмент сетевого мониторинга должен собирать следующие показатели:
Задержка и потеря пакетов на удаленном сервере приложений (пинг по протоколу ICMP или TCP)
Джиттер для голосовой и видеосвязи (UDP iperf)
Количество сетевых скачков и изменений пути (traceroute / tracepath)
Пропускная способность для других сайтов WAN и для Интернета (iperf, NDT и speedtest)
Решения SD-WAN могут сообщать о некоторых из этих метрик, но они либо пассивны, либо учитывают только ограниченную часть сети. Обычно это последняя миля, где работают устройства SD-WAN.
Инструмент мониторинга сети для SD-WAN учитывает весь сквозной процесс от уровня пользователя до пункта назначения на дальнем конце. Такое решение для мониторинга опирается на активные агенты сетевого мониторинга, которые устанавливаются на периферии как в виде физического, так и виртуального устройства. Сквозные сетевые тесты выполняются непрерывно, а результаты извлекаются в режиме реального времени и сохраняются для исторического просмотра.
Мониторинг взаимодействия с конечным пользователем
Мониторинг взаимодействия с конечным пользователем является еще одним ключевым элементом решения для мониторинга SD-WAN. Существует множество способов получения опыта конечного пользователя и множество инструментов на рынке, нацеленных на это. Как правило, мониторинг взаимодействия с конечным пользователем включает в себя статистику и показатели уровня приложения, такие как:
Время разрешения DNS
Время загрузки HTTP
Средняя оценка мнения (MOS) для VoIP
Показатели производительности WiFi
Когда данные о производительности, генерируемые активным агентом мониторинга, соединяются с пассивными данными, полученными устройством SD-WAN, это дает четкое представление о производительности сети. Активные данные полезны для сбора упреждающих предупреждений и устранения неполадок при проблемах производительности в режиме реального времени. Пассивные данные используются, чтобы дать четкое представление о том, как полоса пропускания используется пользователями («ведущими участниками») и приложениями («наиболее эффективными приложениями»), и при необходимости обновлять конфигурацию сети. Сочетание этих двух технологий приводит к уменьшению времени разрешения проблем сети и приложений, повышению производительности и удовлетворенности пользователей.
Что это за странные названия - Elasticsearch, Logstash и Kibana?
На сегодняшний день разработка программного обеспечения одна из наиболее широких и динамично развивающихся сфер деятельности человечества. Новые идеи, программные решения, оптимизация и адаптация вот что выделяет хорошего разработчика ПО. Соответственно, выбор подходящего инструмента для создания приложений это то, от чего напрямую зависит скорость работ, а значит и развитие компании, и продвижение ее на рынке.
Одним из ключевых процессов в разработке ПО является логирование. Этим термином называется фиксация каждого этапа работы программы, как правило, сохраняемого в файл, который называется логом. Этот файл обычно содержит информацию о каждой совершенной программой операции и точном времени ее совершения, что позволяет в случае неполадки просмотреть, в какой момент и на какой операции что-то пошло не так.
Программное обеспечения для сбора и анализа логов не всегда универсально. По классической схеме работы, лог-файл создается при первом запуске программы, фиксирует ее поведение, затем автоматически сохраняется при закрытии программы. При следующем запуске приложения лог-файл заменяется на новый и все начинается сначала.
Однако, с течением времени программы становятся все более сложными, лог-файлы, соответственно, более объемными, а навигация по ним более затруднительной. С течением времени возникла необходимость в специализированных инструментах, которые позволяют быстро и удобно работать с логами. Одним из таких решений стал комплекс программ ELK Stack, о котором и пойдет речь в этой статье.
Название ELK подобрано не просто так. Это не одна программа, а, как уже было сказано выше, комплекс, состоящий из трех основных программных продуктов Elasticsearch, Logstash и Kibana. Иногда данный комплекс дополняется сторонними программами, но эти "три кита" остаются неизменными инструментами. Разберем подробнее:
Elasticsearch это поисковая система, предназначенная изначально для поиска фрагментов текста, однако с гибким функционалом и широкими возможностями по настройке. Это продукт улучшения решения Apache Lucene за счет добавления нескольких нововведений, делающих поиск информации в проектах с большими объемами данных достаточно оперативным и несложным.
Logstash приложение для сбора информации из различных источников, преобразования их в удобный для работы формат и направления их в хранилище для дальнейшей работы. Простота использования и возможность работать с большими объемами данных обеспечивает Logstach ряд преимуществ перед аналогичными проектами.
Kibana это плагин, предназначенный специально для Elasticsearch. Он отвечает за визуализацию данных, аналитику и представление итоговой информации в удобном для восприятия виде. Данное решение позволяет достаточно быстро анализировать итоги поиска, искать закономерности и представлять на экране Вашего устройства, где именно в проекте находятся слабые места. Этот плагин также обладает широкими возможностями по конфигурированию.
Таким образом, механизм сбора логов выглядит так: Logstash собирает объемные логи и помещает их в хранилище, Elasticsearch используется для поиска нужных строк в этих логах, Kibana позволяет проанализировать и визуализировать результаты поиска. Комплекс этих программных продуктов отличное решение для оперативного поиска и устранения неисправностей в программном коде, и очень удобный инструмент для разработчиков особенно тех, кто занимается созданием или внедрением отдельных элементов в крупные проекты. Кроме того, функциональность ELK позволяет его использовать в качестве централизованного хранилища журналов, агрегатора событий с удобной навигацией, аналитической системы с алгоритмом машинного обучения, а также по иным назначениям.
Стоит упомянуть, что все три проекта разработаны компанией Elastic на основе открытого кода. Это позволяет сторонним разработчикам модифицировать систему, и вполне возможно, что данный продукт получит развитие и в дальнейшем будет пользоваться еще большей популярностью среди пользователей.
В производственной среде даже минимальное время простоя недопустимо. Это может привести к потере доходов и, что хуже всего, репутации. Чтобы отладить возможные сценарии, которые приводят к простою, развертываются разные системы регистрации событий и мониторинга.
Это помогает экономить средства и своевременно выявлять проблемы, которые могут возникнуть в будущем.
В настоящее время большинство организаций, вне зависимости от размера, так или иначе использует принципы и инструменты DevOps. Наиболее популярны контейнеры и Kubernetes. И мониторинг такой системы проводится очень эффективно с помощью Prometheus. Но там, где Prometheus отстает – узкая часть. Она не обеспечивает централизованную систему логирования, и именно здесь на сцену выходит Loki.
Что такое Grafana Loki?
Grafana Loki - система агрегации логов с нескольких источников, запущенная компанией Grafana в 2018 году и выпущенная под лицензией Apache 2.0. Разработки системы были вдохновлены Prometheus. Он широко используется с поставщиками облачных технологий и такими инструментами, как Prometheus и Grafana.
Loki аналогичен стеку ELK/EFK, но его проще настроить и использовать, и предлагает лучшие функциональными возможностями. Loki не индексирует содержимое журнала, а индексирует метки времени и набор меток для потока журнала. Это делает индекс меньше, что упрощает операции и в конечном итоге снижает стоимость.
Преимущества Loki
Ниже приведены преимущества использования Loki в стеке:
Благодаря индексации только метаданных, Loki очень экономичен. Выполнение индексов для полнотекстовой обработки требует большей оперативной памяти, которая стоит дорогой. Хранение журналов на объектах хранения, как S3, также уменьшает себестоимость.
Он поддерживает использование нескольких источников с использованием tenantID, поэтому данные из каждого ресурса хранятся отдельно.
Loki можно запускать локально для небольших операций или легко масштабировать по горизонтали для крупномасштабных операций.
Он использует динамический стиль для обеспечения согласованности кворума для операций чтения и записи.
По умолчанию он настроен на создание 3 реплик журналов для защиты от сбоев процессов и внезапных выходов с места потери журналов. Да, это повлечет за собой дополнительные расходы, но не такие высокие – целостность данных более критична.
Легко интегрируется с такими популярными инструментам, как Kubernetes, Prometheus и визуализация в Grafana.
Архитектура Loki
Архитектура Loki состоит из трех компонентов - Promtail, Loki и Grafana.
Promtail - это агент, который должен быть установлен на каждом узле, на котором выполняются приложения или службы. Основной обязанностью Promtail является обнаружение цели, прикрепление меток к потокам подов, и сохранение этих логов в экземпляры Loki. Агент promtail передает журналы из локальной файловой системы на центральный сервер Loki. После этого можно выполнить обратный запрос журналов с помощью Grafana.
Сценарии использования Loki
Ниже приведены популярные сценарии использования системы ведения журнала, подобных Loki.
Бизнес-аналитика: Это, пожалуй, самый распространённый пример использования, создание действенного понимания на основе данных журнала всегда может быть очень полезным. Loki может помочь в понимании данных журнала и даст возможность создавать новые стратегии для роста бизнеса. Например, с помощью данных журнала организации можно узнать коэффициенты эффективности рекламного канала.
Мониторинг: Prometheus часто используется для мониторинга в разных отраслях. Но вы можете многое идентифицировать, отслеживая свои журналы с помощью таких инструментов, как Loki. Она, просматривая журналы и отправляя предупреждения после превышения порога, поможет вам отслеживать частоту ошибок на вашем веб-сайте.
Отладка и устранение неполадок: Loki может помочь команде DevOps быстро находить ответ на такие вопросы, как когда произошел сбой приложения, причина его сбоя, его последний статус перед сбоем и т.д.
Кибербезопасность: За последние несколько лет число кибератак на порталы электронной коммерции увеличивается в геометрической прогрессии. С помощью Loki можно выполнить проверку журналов, чтобы выявить любые угрозы, проблемы или вредоносные действия, происходящие в системе вашей организации. Если взлом был успешным, Loki мог бы быть полезным для криминалистов, чтобы детально понять, что происходило в системе. Это поможет им отследить хакеров.
Соблюдение норм: Для соблюдения отраслевых норм организации должны вести журналы аудита до 7 лет. Местные власти могут проверять журналы в любое время. Loki может безопасно хранить ваши журналы аудита.
Установка Loki и Promtail
Далее покажем, как установить и визуализировать журналы на Grafana. В этой демонстрации мы используем общую конфигурацию, которая будет собирать журналы из /var/log/* log.
Перейдите на страницу релизов Loki на Github, прокрутите вниз до Assets. Здесь вы найдете несколько пакетов Loki и Promtail. Загрузите пакет Loki в соответствии с используемой системой. Не устанавливайте пакеты cli или canary Loki. Я загружаю loki-linux-amd64.zip и promtail-linux-amd64.zip для моей системы Ubuntu.
После завершения загрузки разархивируйте файлы Loki и Promtail и поместите их в единый каталог.
Теперь загрузите общий файл конфигурации Loki и Promtail.
Чтобы запустить Loki, выполните приведенную ниже команду с файлом конфигурации Loki. Это приведет к запуску Loki и отображению журналов Loki в терминале.
loki-linux-amd64 loki-local-config.yaml promtail-linux-amd64 promtail-local-config.yaml
Чтобы запустить Promtail, выполните приведенную ниже команду с файлом конфигурации Promtail. Promtail должен получить журналы в Loki.
./loki-linux-amd64 -config.file=loki-local-config.yaml
Визуализация логов с помощью Loki и Grafana
Grafana обеспечивает встроенную поддержку Loki. Loki уже присутствует в источниках данных Графаны.
Шаг 1. Перейдите к разделу Конфигурации Grafana и нажмите кнопку Data Sources (Источники данных).
Шаг 2. В окне источников данных можно выполнить поиск источника по имени или типу.
Шаг 3. Введите в строку поиска слово Loki. Этот источник данных уже присутствует в Grafana. Нажмите кнопку Select (Выбрать).
Шаг 4. Введите имя, которое вы хотите дать источнику данных, и поместите http://localhost:3100 (измените его на IP-адрес сервера, если Loki работает на сервере, отличном от Grafana) в строку URL. Порт прописываем потому, что мы запустили Loki на порту 3100.
Нажмите кнопку Save and Test внизу. Если настройка Loki выполнена правильно, появится следующее сообщение в зеленом поле.
Шаг 5.Нажмите на вкладку Explore (Обзор) на левой части панели. Выберите Loki в раскрывающемся списке выбора источника данных. Теперь неплохо было бы визуализировать активность журналов Grafana. Для этого необходимо добавить запрос {filename = "/var/log/grafana/grafana.log "} в строку обозревателя журналов. Зеленые полосы ниже представляют собой записи событий в файле журнала.
Можно выбрать временной диапазон, для которого визуализация должна отображаться на панели мониторинга, а также задать интервал обновления запроса. Чтобы просмотреть более подробную информацию о событии, прокрутите вниз и щелкните по одной из записей журнала, она выведет всю имеющуюся информацию, связанные с данным событием.
Заключение
Распределенная система состоит из множества приложений или микросервисов, каждый из которых генерирует тысячи событий. Нужен экономичный способ сбора журналов, их хранения и последующего использования. Loki - идеальное решение для таких случаев. Фактически, за счет интеграции Loki в производственную среду, затраты на ведение журналов и мониторинг можно сократить до 75%.