По вашему запросу ничего не найдено :(
Убедитесь, что запрос написан правильно, или посмотрите другие
наши статьи:
Такой большой и интересный инструмент - а разворачивать как?
В одной из предыдущих статей мы знакомились с таким инструментом разработчика, как ELK. Сегодня мы разберемся, как правильно подготовить этот комплекс для практической работы.
Для начала напомним, что ELK это один из наиболее удобных инструментов разработчика, предназначенный для быстрого выявления неполадок в работе объемных программ путем сбора и анализа логов. Этот комплекс состоит из трех приложений: поисковика Elasticsearch, сборщика данных Logstash и визуализатора Kibana. Весь комплекс разрабатывается компанией Elastic.
Ознакомимся с системными требованиями. На каждом из серверов в системе рекомендуется иметь не менее 8 физических ядер и не менее 48 Гб оперативной памяти. Кроме того, если данные планируется собирать с крупной системы, то объем внутренней памяти будем оценивать по принципу "чем больше тем лучше". 8 Тб это рекомендуемые требования, но этот показатель может варьироваться. Ну и, разумеется, чем выше скорость соединения между серверами - тем быстрее будет проводиться обработка информации. Рекомендуемый показатель - 1Гб/с. Система из трех таких серверов позволит обрабатывать до тысячи событий в секунду, собирать и отображать 95% данных за отдельные периоды времени (5 минут, сутки),хранить данные до 90 дней и обслуживать до 10 клиентов по протоколу HTTP одновременно.
Поскольку все элементы данного решения реализованы на Java, первым делом нужно установить актуальную версию Oracle Java. Также рекомендуется изучить дополнительную информацию о компонентах ELK на предмет совместимости версий.
Если на Вашей рабочей станции установлены Ubuntu или Debian, устанавливаем соединение с репозиторием для скачивания Oracle Java. Если вы пользуетесь CentOS то качаем программную среду на сервер с сайта разработчика. После того, как процесс установки завершится рекомендуется проверить актуальную версию с помощью соответствующей команды консоли. Если все хорошо, то это значит, что почва подготовлена, и можно переходить к следующему этапу
А им станет скачивание и установка поискового инструмента Elasticsearch. Это также не вызовет особой сложности достаточно скопировать в систему публичный ключ репозитория, установить с ним соединение (пользователи Debian и Ubuntu могут столкнуться с отсутствием загрузочного пакета apt-transport-https его нужно будет установить дополнительно), скачать актуальную версию Elasticsearch и запустить процесс установки. Чтобы работа приложения была корректной, его стоит добавить в автозагрузку. Затем проверяем, штатно ли прошла установка, запустив программу.
Итак, все запустилось нормально. Можно переходить к этапу конфигурирования Elasticsearch. Это не займет много времени нужно будет отредактировать пару строк в файле конфигурации /etc/elasticsearch/elasticsearch.yml. Во-первых, чтобы не собирать лишнюю информацию, указываем хост локального интерфейса, через который будет передавать данные Logstash (по умолчанию, данные собираются со всех сетевых интерфейсов), а во-вторых, указываем путь к хранилищу данных, откуда мы и будем с ними работать. Рекомендуется выделить под хранилище значительные объемы памяти чем сложнее проект, тем больше будут весить собираемые логи. После завершения процесса настройки перезапускаем и проверяем программу.
Далее нас ждет установка веб-панели Kibana. Этот процесс почти не отличается от установки Elasticsearch, ключи репозиториев будут одинаковыми. В целом, все то же самое устанавливаем соединение с репозиторием, скачиваем, устанавливаем, добавляем в автозагрузку, запускаем, проверяем. Стоит обозначить, что приложение загружается довольно долго, поэтому проверку лучше осуществить через пару минут после отдачи команды на запуск приложения.
Редактирование настроек Kibana можно осуществить через файл /etc/kibana/kibana.yml. Здесь нас интересует строка с указанием интерфейса, который будет "слушать" Kibana. Это могут быть все интерфейса, либо один определенный в данном случае нужно будет указать конкретный ip-адрес нужного сервера. Далее проверим сам веб-интерфейс, для этого указываем адрес - например, http://10.1.4.114:5601.
Наконец, перейдем к этапу установки Logstash. Здесь все то же самое, только перед проверочным запуском программу нужно настроить. Можно отредактировать основной файл настроек /etc/logstash/logstash.yml, но рациональнее будет создать несколько файлов конфигурации в директории /etc/logstash/conf.d, чтобы группировать настройки по назначению.
Создаем файлы input.conf и output.conf. В первом файле мы указываем порт, на который будем принимать информацию, а также параметры ssl, если в этом есть необходимость. Во втором файле указываем параметры передачи данных в Elasticsearch. Данные лучше передавать под указанным дополнительно индексом, также используя маску в виде даты. Также можно отключить функцию отправки данных в общий лог системы, чтобы не занимать место в хранилище дублированными фрагментами информации.
Кроме этого, потребуется создать файл с параметрами обработки данных. Дело в том, что не всегда удобно работать с полным объемом, и приходится делать выборку ключевых данных. Создаем файл filter.confи указываем параметры, на основании которых будут фильтроваться необходимые данные. Также при необходимости можно настроить, например, корректное отображение даты или географического местоположения сервера, с которого будет поступать информация. Завершив конфигурирование, можно проверить работу программы, запустив ее и просмотрев внутренний файл лога /var/log/logstash/logstash-plain.log.
Основной пакет программ установлен теперь осталось установить программы, которые будут отправлять данные, на сервера. Компания Elastic предлагает использовать Filebeat, но можно воспользоваться и альтернативными вариантами. Здесь процесс установки аналогичен предыдущим. Файл настроек по умолчанию позволяет сразу работать с программой, но можно и подредактировать его при необходимости.
Если все сделано правильно, программный комплекс уже начал собирать логи. Следующим шагом будет открытие веб-интерфейса Kibana и настройка паттерна индекса, чтобы лог открывался в веб-интерфейсе по умолчанию, а в сохраняемых данных не было путаницы.
Международная организации ISO представляет свою уникальную разработку под названием OSI, которой необходимо создать базу для разработки сетевых стандартов.
Сетевая модель TCP/IP контролирует процесс межсетевого взаимодействия между компьютерными системами. Несмотря на это, модель OSI включает в себя 7 уровней сетевого взаимодействия, а модель TCP/IP - 4.
Межсетевой экран Netfilter определяет протоколы Некоторые из них могут быть заданы только косвенно.
Протоколы сетевого уровня и межсетевое экранирование
Для формирования сквозной транспортной системы необходимо предоставить сетевой уровень (Network Layer). Он определяет маршрут передачи данных, преобразует логические адреса и имена в физические; в модели OSI (Таблица 2.1) данный уровень получает дейтаграммы, определяет маршрут и логическую адресацию, и направляет пакеты в канальный уровень, при этом сетевой уровень прибавляет свой заголовок.
Протокол IP (Internet Protocol)
Основным протоколом является IP, который имеет две версии: IPv4 и IPv6. Основные характеристики протокола IPv4:
Размер адреса узла - 4 байта
В заголовке есть поле TTL
Нет гарантии при доставке, что будет правильная последовательность
Пакетная передача данных.
Если превысится максимальный размер для пакета, тогда обеспечивается его фрагментация.
Версия состоящее из четырех бит поле, которое содержит в себе номер версии IP протокола (4 или 6).
Длина заголовка - состоящее их 4х бит поле, которое определяет размер заголовка пакета.
Тип обслуживания поле, которое состоит из 1 байта; на сегодняшний день не используется. Его заменяют на два других:
DSCP, которое делит трафик на классы обслуживания, размер его составляет 6 бит.
ECN - поле, состоящее из 2 бит, используется в случае, если есть перегрузка при передаче трафика.
Смещение фрагмента используется в случае фрагментации пакета, поле которого равно 13 бит. Должно быть кратно 8.
"Время жизни" поле, длиной в 1 байт, значение устанавливает создающий IP-пакет узел сети, поле, состоящее из 1 байта
Транспорт поле, размером в один байт.
Доп. данные заголовка поле, которое имеет произвольную длину в зависимости от содержимого и используется для спец. задач.
Данные выравнивания. Данное поле используется для выравнивания заголовка пакета до 4 байт.
IP уникальный адрес. Адреса протокола четвёртой версии имеют длину 4 байта, а шестой 16 байт. IP адреса делятся на классы (A, B, C). Рисунок 2.2. Сети, которые получаются в результате взаимодействия данных классов, различаются допустимым количеством возможных адресов сети. Для классов A, B и C адреса распределяются между идентификатором (номером) сети и идентификатором узла сети
Протокол ICMP
Протокол сетевого уровня ICMP передает транспортную и диагностическую информацию.
Даже если атакующий компьютер посылает множество ICMP сообщений, из-за которых система примет его за 1 из машин.
Тип поле, которое содержит в себе идентификатор типа ICMP-сообщения. Оно длиною в 1 байт.
Код поле, размером в 1 байт. Включает в себя числовой идентификатор, Internet Header + 64 bits of Original Data Datagram включает в себе IP заголовок и 8 байт данных, которые могут быть частью TCP/UDP заголовка или нести информацию об ошибке.
Типы ICMP-сообщений, есть во всех версиях ОС Альт, и они подразделяются на две большие категории.
Протоколы транспортного уровня и межсетевое экранирование
При ПТУ правильная последовательность прихода данных. Основными протоколами этого уровня являются TCP и UDP.
Протокол UDP
Основные характеристики протокола UDP приведены ниже.
Простую структура, в отличие от TCP
Сведения придут неповрежденными, потому что проверяется контрольная сумма
Нет гарантии надёжной передачи данных и правильного порядка доставки UDP-пакетов
Последнее утверждение нельзя рассматривать как отрицательное свойство UDP. Поддержка протокола не контролирует доставку пакетов, значит передача данных быстрее, в отличие от TCP.
UDP-пакеты являются пользовательскими дейтаграммами и имеют точный размер заголовка 8 байт.
Адрес порта источника - поле, размером 16 бит, с № порта.
Адрес порта пункта назначения - поле, размером 16 бит, в котором есть адрес порта назначения.
Длина - размером 16 бит. Оно предназначено для хранения всей длины дейтаграммы пользователя и заголовка данных.
Контрольная сумма. Данная ячейка обнаруживается всею пользовательскую дейтаграмму.
В UDP контрольная сумма состоит из псевдозаголовока, заголовка и данных, поступивших от прикладного уровня.
Псевдозаголовок это часть заголовка IP-пакета, в котором дейтаграмма пользователя закодирована в поля, в которых находятся 0.
Передающее устройство может вычисляет итоговую сумму за восемь шагов:
Появляется псевдозаголовок в дейтаграмме.
В поле КС по итогу ставится 0.
Нужно посчитать число байтов. Если четное тогда в поле заполнения мы пишем 1 байт (все нули).
Конечный результат - вычисление контрольной суммы и его удаление.
Складываются все 16-битовых секций и дополняются 1.
Дополнение результата. Данное число и есть контрольная сумма
Убирается псевдозаголовка и всех дополнений.
Передача UDP-сегмента к IP программному обеспечению для инкапсуляции.
Приемник вычисляет контрольную сумму в течение 6 шагов:
Прописывается псевдозаголовок к пользовательской дейтаграмме UDP.
Если надо, то дополняется заполнение.
Все биты делятся на 16-битовые секции.
Складывается все 16-битовых секций и дополняются 1.
Дополнение результата.
Когда результат = нулю, убирается псевдозаголовок и дополнения, и получает UDP-дейтаграмму только семь б. Однако, если программа выдает иной рез., пользовательская дейтаграмма удаляется. Чтобы передать данные - инкапсулируется пакет.
В хосте пункта назначения биты декодируются и отправляются к звену данных. Последний использует заголовок для проверки данных, заголовок и окончание убираются, если все правильно, а дейтаграмма передается IP. ПО делает свою проверку. Когда будет все правильно, заголовок убирается, и пользовательская дейтаграмма передается с адресами передатчика и приемника. UDP считает контрольную сумму для проверки . Если и в этот раз все верно, тогда опять заголовок убирается, и прикладные данные передаются процессу.
Протокол TCP
Транспортный адрес заголовка IP-сегмента равен 6 (Таблица 2.2). Протокол TCP совсем другой, в отличие от протокола UDP. UDP добавляет свой собственный адрес к данным, которые являются дейтаграммой, и прибавляет ее IP для передачи.
TCP образует виртуальное соединение между хостами, что разрешает передавать и получать данные как поток байтов.
Также добавляется заголовок перед передачей пакету СУ.
Порт источника и порт приемника поля размером по 16 бит. В нем есть номер порта службы источника.
Номер в последовательности поле размером в 32 бита, содержит в себе номер кадра TCP-пакета в последовательности.
Номер подтверждения поле длиной в 32 бита, индикатор успешно принятых предыдущих данных.
Смещение данных поле длиной в 4 бита (длина заголовка + смещение расположения данных пакета.
Биты управления поле длиной 6 бит, содержащее в себе различные флаги управления.
Размер окна поле размером 16 бит, содержит в себе размер данных в байтах, их принимает тот, кто отправил данный пакет. Макс.значение размера окна - 40967байт.
Контр. сумма поле размером 16 бит, содержит в себе значение всего TCP-сегмента
Указатель поле размером 16 бит, которое используется, когда устанавливается флаг URG. Индикатор количества пакетов особой важности.
Опции - поле произв. длины, размер которого зависит от данных находящихся в нём.
Чтобы повысить пропускную функцию канала, необходим способ "скользящего окна". Необходимы только поля заголовка TCP-сегмента: "Window". Вместе с данным полем можно отправлять максимальное количество байт данных.
Классификация межсетевых экранов
Межсетевые экраны не позволяют проникнуть несанкционированным путем, даже если будет использоваться незащищенныеместа, которые есть в протоколах ТСР/IP.
Нынешние МЭ управляют потоком сетевого трафика между сетями с различными требованиями к безопасности. Есть несколько типов МЭ. Чтобы их сравнить, нужно с точностью указать все уровни модели OSI, которые он может просчитать. МЭ работают на всех уровнях модели OSI.
Пакетные фильтры
Изначально сделанный тип МЭ и есть пакетный фильтр. ПФ - часть маршрутизаторов, которые могут быть допущены к разным сист.адресам.
ПФ читают информацию заголовков пакетов 3-го и 4-го уровней.
ПФ применяется в таких разделай сетевой инфраструктуры, как:
пограничные маршрутизаторы;
ос;
персональные МЭ.
Пограничные роутеры
Главным приоритетом ПФ является скорость. Также пф ограничивать доступ при DoS-атаки. Поэтому данные пф встроены в большинство роутеров.
Преимущества пф:
Пф доступен для всех, так как остается в целостности ТСР-соединение.
Недостатки пакетных фильтров:
Пфпропускают данные с высших уровней
МЭ имеет доступ не ко всей информации
Большинство пф не аутентифицируют пользователя.
Для исходящего и входящего трафика происходит фильтрация.
МЭ анализирующие состояние сессии
Такие МЭ являются пакетными фильтрами, которые считывают сохраняемый пакет 4-го уровня OSI.
Плюсы МЭ четвертого уровня:
Информацию могут узнать только установленные соединения
Пф доступен для всех, остается в целостности ТСР-соединение
Прокси-сервер прикладного уровня
Если применять МЭ ПУ, тогда нам не потребуется устройство, чтобы выполнить маршрутизацию.
Прокси-сервер, анализирующий точный протокол ПУ, называется агентом прокси.
Такой МЭ имеют много преимуществ.
Плюсы прокси-сервера ПУ:
Прокси требует распознавание пользователя
МЭ ПУ проанализирует весь сетевой пакет.
Прокси ПУ создают детальные логи.
Минусы прокси-сервера ПУ:
МЭ использует больше времени при работе с пакетами
рикладные прокси работают не со всеми сетевыми приложениями и протоколами
Выделенные прокси-серверы
Эти прокси-серверы считывают трафик определенного прикладного протокола и не анализируют его полностью.
Прокси-серверы нужны для сканирования web и e-mail содержимого:
отсеивание Java-приложений;
отсеивание управлений ActiveX;
отсеивание JavaScript;
уничтожение вирусов;
блокирование команд, определенных для приложений и пользователя, вместе с блокирование нескольких типов содержимого для точных пользователей.
Иногда, системному администратору необходимо отключить интерфейс, не прибегая к переключению и удалению кабеля. Проще говоря, мы должны иметь возможность решать, какие порты будут включены, а какие отключены.
В Cisco используются интерфейсные подкоманды для административного включения и отключения порта: команда shutdown (отключить) и команда no shutdown (включить). Команду no shutdown является неотъемлемой частью при настройке сетевых устройств (чаще всего используют сокращенные команды "shut" и "no shut").
Ниже показан пример 1 отключения интерфейса с помощью команды shutdown. В этом примере на коммутаторе SW-1 имеется рабочий интерфейс F0 / 1. Пользователь подключается к консоли и отключает интерфейс. IOS генерирует сообщение журнала событий каждый раз, когда интерфейс переходит из одного состояния в другое, и сообщения журнала появляются на консоли, как показано в примере:
Чтобы включить интерфейс, необходимо выполнить ту же последовательность команд, но вместо команды shutdown использовать команду no shutdown. Прежде чем использовать команды shutdown/no shutdown, используйте команды show, которые отображают состояние интерфейса . Команда show interfaces <номер порта> status выводит одиночное сообщение о состоянии интерфейса. Если интерфейс выключен, то выводится на экран статус интерфейса как "disabled". Команда show interfaces (без ключевого слова status) выводит на экран детализированную информацию о состоянии порта. Информация, выведенная с использованием этой команды, состоит из двух частей. Первая часть отображает фразу "administratively down". Она выделена в сообщении журнала в примере 2.
Здесь показаны примеры использования этих команд. Обратите внимание, что в обоих примерах используется параметр F0/1 (сокращение от Fast Ethernet0/1). Этот параметр позволяет выводить сообщения только о состоянии порта F0/1.
Удаление настроек с помощью команды no
С помощью некоторых команд конфигурации IOS (но не всех) можно вернуться к настройкам по умолчанию, введя команду no <команда>. Что это значит?
Давайте рассмотри несколько примеров :
Если вы ранее настроили скорость 100 Mb/s на интерфейсе, команда no speed на том же интерфейсе, вернет настройки скорости по умолчанию (включится режим speed auto).
Так же и с командной настройки дуплекса: ранее произведенные настройки дуплекса, переводящие порт в режим duplex half или duplex full, можно отменить командой no duplex, введенной на том же интерфейсе. Эта команда возвращает настройки по умолчанию - duplex auto.
Если вы произвели настройку описания, используя команду description , то чтобы вернуться к состоянию по умолчанию, удалить описание вообще, используйте команду no description.
В примере 3 показан этот процесс. В этом примере порт F0/2 коммутатора SW-1 был предварительно настроен со скоростью 100 Mb/s, режим дуплекса - duplex half, и описанием Link to BUH и отключен (shutdown). Все это отображено в листинге примера. (Для лучшего понимания работы команд, часть листинга была удалена)