По вашему запросу ничего не найдено :(
Убедитесь, что запрос написан правильно, или посмотрите другие
наши статьи:
Активное сетевое оборудование, должно обеспечивать долгосрочное и бесперебойное функционирование корпоративной сети. Своевременное выявление и устранение неисправностей является залогом успешной и эффективной работы компании. Именно поэтому очень важно уделить особое внимание системе мониторинга, которая бы отслеживала состояние активного оборудования и уведомляла об отклонении от нормальных показателей системного администратора по SMS, e-mail или другим средствам оповещения.
Система мониторинга – это совокупность технических средств, осуществляющих постоянное наблюдение и сбор информации в локальной вычислительной сети на основе анализа статистических данных с целью выявления неисправных или некорректно работающих узлов и оповещения ответственных лиц. Функционал современных систем мониторинга позволяет отслеживать состояние таких сервисов как например:
1) Доступность хоста
Путем периодической отправки запросов ICMP Echo-Request на адрес сетевого устройства
2) Доступность веб-сервера
Путем отправки HTTP запроса на получение страницы
3) Доступность почтовых сервисов
Путем периодической отправки диагностических SMTP сообщений
Кроме того, можно производить замер времени отклика данных сервисов.
Периодические проверки такого рода позволяют быстро определить на каком уровне возникла проблема и незамедлительно приступить к её устранению.
Система мониторинга сети
На приведенном выше рисунке показан простейший пример реализации системы мониторинга, контролирующей всего четыре устройства. В реальных же условиях парк активного оборудования может иметь куда больше узлов. Для осуществления грамотного мониторинга проводят объединение разных типов узлов в группы, например группа веб-серверов или группа маршрутизаторов. Такого рода разделение помогает систематизировать статистическую информацию и облегчает процесс наблюдения.
Большинство систем мониторинга позволяют автоматизировать проверку устройств по SNMP и осуществлять диагностику с помощью различных плагинов (в том числе созданных вручную).
Протокол SNMP (Simple Network Management Protocol) - был создан специально для нужд мониторинга сетевого оборудования. Все активные устройства L2 и L3 содержат так называемую Базу информации управления MIB (Management Information Base), в которой находятся основные параметры состояния оборудования. Например, загрузка CPU, статус интерфейсов, объем свободного места и др. Каждой такой записи соответствует уникальный идентификатор OID(Oject IDentifier). Имея нужный идентификатор, можно получить информацию об интересующем параметре по протоколу SNMP. Современные системы мониторинга позволяют автоматизировать данный процесс. Система, по протоколу SNMP, подключается к устройству, опрашивает его по интересующему OID, получает значение параметра и сравнивает его с заданным. Если обнаруживается несоответствие двух данных значений, то системы мониторинга реагирует и запускает процесс оповещения.
Перед непосредственным внедрением системы мониторинга, необходимо провести обследование ЛВС, результатом которого должен стать перечень наблюдаемого оборудования, параметров и утвержденный алгоритм эскалации событий мониторинга. На основе анализа сетевой инфраструктуры заказчика формируются первые решения определяющие архитектуру будущей системы мониторинга.
На следующем этапе осуществляется составление спецификаций и пакета проектной документации, с учетом пожеланий заказчика.
Далее обычно следует внедрение разработанного решения на отдельном сегменте сети с ограниченным числом наблюдаемых узлов, с целью тестирования и отладки функционала предложенного решения.
Заключительным этапом является масштабирование системы мониторинга, то есть расширение объема наблюдаемой ИТ-инфраструктуры до необходимого заказчику.
Внедрение системы мониторинга – это важный шаг на пути к полной автоматизации ИТ-инфраструктуры, который ведет к повышению эффективности ее использования. Специалисты нашей компании не раз разрабатывали решения, которые оправдывают ожидания заказчиков и надёжно работают вот уже несколько лет.
В производственной среде даже минимальное время простоя недопустимо. Это может привести к потере доходов и, что хуже всего, репутации. Чтобы отладить возможные сценарии, которые приводят к простою, развертываются разные системы регистрации событий и мониторинга.
Это помогает экономить средства и своевременно выявлять проблемы, которые могут возникнуть в будущем.
В настоящее время большинство организаций, вне зависимости от размера, так или иначе использует принципы и инструменты DevOps. Наиболее популярны контейнеры и Kubernetes. И мониторинг такой системы проводится очень эффективно с помощью Prometheus. Но там, где Prometheus отстает – узкая часть. Она не обеспечивает централизованную систему логирования, и именно здесь на сцену выходит Loki.
Что такое Grafana Loki?
Grafana Loki - система агрегации логов с нескольких источников, запущенная компанией Grafana в 2018 году и выпущенная под лицензией Apache 2.0. Разработки системы были вдохновлены Prometheus. Он широко используется с поставщиками облачных технологий и такими инструментами, как Prometheus и Grafana.
Loki аналогичен стеку ELK/EFK, но его проще настроить и использовать, и предлагает лучшие функциональными возможностями. Loki не индексирует содержимое журнала, а индексирует метки времени и набор меток для потока журнала. Это делает индекс меньше, что упрощает операции и в конечном итоге снижает стоимость.
Преимущества Loki
Ниже приведены преимущества использования Loki в стеке:
Благодаря индексации только метаданных, Loki очень экономичен. Выполнение индексов для полнотекстовой обработки требует большей оперативной памяти, которая стоит дорогой. Хранение журналов на объектах хранения, как S3, также уменьшает себестоимость.
Он поддерживает использование нескольких источников с использованием tenantID, поэтому данные из каждого ресурса хранятся отдельно.
Loki можно запускать локально для небольших операций или легко масштабировать по горизонтали для крупномасштабных операций.
Он использует динамический стиль для обеспечения согласованности кворума для операций чтения и записи.
По умолчанию он настроен на создание 3 реплик журналов для защиты от сбоев процессов и внезапных выходов с места потери журналов. Да, это повлечет за собой дополнительные расходы, но не такие высокие – целостность данных более критична.
Легко интегрируется с такими популярными инструментам, как Kubernetes, Prometheus и визуализация в Grafana.
Архитектура Loki
Архитектура Loki состоит из трех компонентов - Promtail, Loki и Grafana.
Promtail - это агент, который должен быть установлен на каждом узле, на котором выполняются приложения или службы. Основной обязанностью Promtail является обнаружение цели, прикрепление меток к потокам подов, и сохранение этих логов в экземпляры Loki. Агент promtail передает журналы из локальной файловой системы на центральный сервер Loki. После этого можно выполнить обратный запрос журналов с помощью Grafana.
Сценарии использования Loki
Ниже приведены популярные сценарии использования системы ведения журнала, подобных Loki.
Бизнес-аналитика: Это, пожалуй, самый распространённый пример использования, создание действенного понимания на основе данных журнала всегда может быть очень полезным. Loki может помочь в понимании данных журнала и даст возможность создавать новые стратегии для роста бизнеса. Например, с помощью данных журнала организации можно узнать коэффициенты эффективности рекламного канала.
Мониторинг: Prometheus часто используется для мониторинга в разных отраслях. Но вы можете многое идентифицировать, отслеживая свои журналы с помощью таких инструментов, как Loki. Она, просматривая журналы и отправляя предупреждения после превышения порога, поможет вам отслеживать частоту ошибок на вашем веб-сайте.
Отладка и устранение неполадок: Loki может помочь команде DevOps быстро находить ответ на такие вопросы, как когда произошел сбой приложения, причина его сбоя, его последний статус перед сбоем и т.д.
Кибербезопасность: За последние несколько лет число кибератак на порталы электронной коммерции увеличивается в геометрической прогрессии. С помощью Loki можно выполнить проверку журналов, чтобы выявить любые угрозы, проблемы или вредоносные действия, происходящие в системе вашей организации. Если взлом был успешным, Loki мог бы быть полезным для криминалистов, чтобы детально понять, что происходило в системе. Это поможет им отследить хакеров.
Соблюдение норм: Для соблюдения отраслевых норм организации должны вести журналы аудита до 7 лет. Местные власти могут проверять журналы в любое время. Loki может безопасно хранить ваши журналы аудита.
Установка Loki и Promtail
Далее покажем, как установить и визуализировать журналы на Grafana. В этой демонстрации мы используем общую конфигурацию, которая будет собирать журналы из /var/log/* log.
Перейдите на страницу релизов Loki на Github, прокрутите вниз до Assets. Здесь вы найдете несколько пакетов Loki и Promtail. Загрузите пакет Loki в соответствии с используемой системой. Не устанавливайте пакеты cli или canary Loki. Я загружаю loki-linux-amd64.zip и promtail-linux-amd64.zip для моей системы Ubuntu.
После завершения загрузки разархивируйте файлы Loki и Promtail и поместите их в единый каталог.
Теперь загрузите общий файл конфигурации Loki и Promtail.
Чтобы запустить Loki, выполните приведенную ниже команду с файлом конфигурации Loki. Это приведет к запуску Loki и отображению журналов Loki в терминале.
loki-linux-amd64 loki-local-config.yaml promtail-linux-amd64 promtail-local-config.yaml
Чтобы запустить Promtail, выполните приведенную ниже команду с файлом конфигурации Promtail. Promtail должен получить журналы в Loki.
./loki-linux-amd64 -config.file=loki-local-config.yaml
Визуализация логов с помощью Loki и Grafana
Grafana обеспечивает встроенную поддержку Loki. Loki уже присутствует в источниках данных Графаны.
Шаг 1. Перейдите к разделу Конфигурации Grafana и нажмите кнопку Data Sources (Источники данных).
Шаг 2. В окне источников данных можно выполнить поиск источника по имени или типу.
Шаг 3. Введите в строку поиска слово Loki. Этот источник данных уже присутствует в Grafana. Нажмите кнопку Select (Выбрать).
Шаг 4. Введите имя, которое вы хотите дать источнику данных, и поместите http://localhost:3100 (измените его на IP-адрес сервера, если Loki работает на сервере, отличном от Grafana) в строку URL. Порт прописываем потому, что мы запустили Loki на порту 3100.
Нажмите кнопку Save and Test внизу. Если настройка Loki выполнена правильно, появится следующее сообщение в зеленом поле.
Шаг 5.Нажмите на вкладку Explore (Обзор) на левой части панели. Выберите Loki в раскрывающемся списке выбора источника данных. Теперь неплохо было бы визуализировать активность журналов Grafana. Для этого необходимо добавить запрос {filename = "/var/log/grafana/grafana.log "} в строку обозревателя журналов. Зеленые полосы ниже представляют собой записи событий в файле журнала.
Можно выбрать временной диапазон, для которого визуализация должна отображаться на панели мониторинга, а также задать интервал обновления запроса. Чтобы просмотреть более подробную информацию о событии, прокрутите вниз и щелкните по одной из записей журнала, она выведет всю имеющуюся информацию, связанные с данным событием.
Заключение
Распределенная система состоит из множества приложений или микросервисов, каждый из которых генерирует тысячи событий. Нужен экономичный способ сбора журналов, их хранения и последующего использования. Loki - идеальное решение для таких случаев. Фактически, за счет интеграции Loki в производственную среду, затраты на ведение журналов и мониторинг можно сократить до 75%.
Redis - это решение с открытым исходным кодом для хранения структур данных. Он в основном используется как хранилище значений ключей, что позволяет ему работать как база данных, кеш-хранилище и брокер сообщений.
В этом руководстве мы рассмотрим различные способы удаления этих пар "ключ-значение" (ключей) и очистки кеша Redis.
Очистить кеш Redis с помощью команды redis-cli
Самый простой способ очистить кеш Redis - использовать команду redis-cli.
Базы данных в Redis хранятся индивидуально. Использование команды redis-cli позволяет удалить ключи либо из всех баз данных, либо только из одной указанной базы данных.
Синтаксис команды redis-cli
Команда redis-cli использует следующий синтаксис:
redis-cli [номер базы данных] [опция]
Где:
[опция] - позволяет выбрать между очисткой всех баз данных или одной конкретной базы данных по вашему выбору.
[номер базы данных] - позволяет указать, какую базу данных вы хотите очистить.
Примечание. После удаления ключей из базы данных их невозможно будет восстановить.
Удаление всех ключей
Чтобы удалить ключи из всех баз данных Redis, используйте следующую команду:
Redis-Cli Flushall
Начиная с версии 4.0.0, Redis может очищать ключи в фоновом режиме, не блокируя ваш сервер. Для этого используйте команду flushall с параметром async:
Redis-cli flushall async
Удаление ключей из определенной базы данных
Используйте следующую команду, чтобы очистить только определенную базу данных:
Redis-cli flushdb
Использование команды flushdb без каких-либо параметров очищает текущую выбранную базу данных. Используйте параметр -n с номером базы данных, чтобы выбрать конкретную базу данных, которую вы хотите очистить:
redis-cli -n [номер базы данных] flushdb
Вы также можете использовать параметр async при очистке ключей из отдельных баз данных:
redis-cli -n [номер базы данных] flushdb async
Автоматическая очистка кеша с помощью Ansible
Если у вас работает большое количество серверов Redis, очистка кеша для каждого из них вручную требует времени.
Чтобы ускорить этот процесс, используйте такой инструмент, как Ansible, чтобы очистить кеш на всех ваших серверах Redis одновременно:
ansible all -m command -a '/usr/bin/redis-cli flushall '
Выполнение этой команды применяет команду flushall к каждому серверу в вашем файле инвентаризации Ansible:
all - позволяет выбрать все удаленные хосты в файле инвентаризации Ansible.
-m - позволяет выбрать модуль для выполнения.
-a - Предоставляет аргумент для модуля. В этом случае командный модуль запускает команду flushall с помощью redis-cli.