По вашему запросу ничего не найдено :(
Убедитесь, что запрос написан правильно, или посмотрите другие
наши статьи:
В последние годы рынок программного обеспечения прогрессирует ударными темпами. Чтобы удержаться на плаву, компании-разработчики программного обеспечения постоянно разрабатывают новые решения и совершенствуют уже существующее программное обеспечение. И если в первом случае анализируются желания, озвучиваемые пользователями, то во втором более эффективным методом сбора данных оказывается телеметрия.
Что же это такое? Говоря по-простому, сетевая телеметрия — это процесс автоматизированного сбора данных, их накопление и передача для дальнейшего анализа. Если говорить о программном обеспечении, то анализ проводится разработчиками софта с целью оптимизации существующих программ, либо разработки и внедрения новых решений. Телеметрия в сети осуществляется посредством сбора данных с использованием сетевого протокола NetFlow или его аналогов.
Зачем же нужен NetFlow?
Сетевой протокол NetFlow был разработан в конце прошлого века компанией Cisco. Изначально он использовался как программа-распределитель пакетов данных для оптимизации работы маршрутизаторов, однако с течением времени она была заменена на более эффективную программу. Тем не менее, такой функционал, как сбор полезной статистики по использованию сетевого трафика и поныне оставляет Netflow актуальным. Правда, специализация этого протокола уже не соответствует исходной. Тем не менее, Netflow обладает функционалом, который невозможно реализовать, применяя альтернативные сетевые технологии.
Система постоянного наблюдения за работой сетевых приложений и действиями пользователей;
Сбор и учет информации об использовании сетевого трафика;
Анализ и планирование развития сети;
Распределение и управление сетевым трафиком;
Изучение вопросов сетевой безопасности;
Хранение собранных посредством телеметрии данных и их итоговый анализ;
Хотя уже существуют программные решения, обладающие схожим функционалом, решение от компании Cisco до сих пор остается одним из лучших в этой сфере. Кстати, теперь это решение называется Cisco Stealthwatch и на 95% обладает функционалом для решения исключительно задач, связанных с информационной безопасностью.
Отметим, что технологию сбора данных посредством NetFlow поддерживают не все роутеры или коммутаторы. Если Ваше устройство имеет поддержку данного протокола, то оно будет замерять проходящий трафик и передавать собранные данные в NetFlow-коллектор для последующей обработки. Передача будет осуществляться в формате датаграмм протокола UDP или пакетов протокола SCTP, поэтому на скорость работы интернета существенным образом это не повлияет.
В настоящее время решения NetFlow (как и многих других приложений) подразделяются на три типа:
Базовые технологии. Отличаются низкой ценой и довольно скудным функционалом анализа сетевого трафика. Тем не менее, для большинства пользователей или же для изучения технологии этого вполне достаточно
«Продвинутые» корпоративные варианты. Здесь базовый функционал дополнен более широким набором инструментов для предоставления расширенной отчетности анализа данных. Также эти решения содержат готовые модели оптимизации для разных сетевых устройств.
«Флагманские» корпоративные решения. Отличаются наивысшей ценой, однако при этом и наиболее широким функционалом, а также позволяют осуществлять мониторинг информационной безопасности в крупных организациях.
«А как же быть с приватностью? Ведь сбор данных ставит под угрозу частную жизнь пользователей, тайну переписки, личные сообщения и прочее» - спросит беспокойный читатель. Согласно политике приватности компании Cisco, персональные данные пользователей остаются в полной безопасности. Посредством телеметрии NetFlow анализируется исключительно передача сетевого трафика, не угрожая приватности пользователей.
Примеры решений
Также приведем несколько самых популярных сетевых анализаторов, работающих под протоколом NetFlow:
Solarwinds NetFlow Traffic Analyzer – мощный инструмент для анализа динамики трафика в сети. Программа осуществляет сбор, накопление и анализ данных, выводя их в удобном для пользователя формате. При этом можно проанализировать поведение трафика за определенные временные промежутки. Для ознакомления на сайте производителя доступна бесплатная 30-дневная версия
Flowmon – программа, предоставляющая комплекс инструментов для изучения пропускной способности сети, нагрузки на сеть в определенные периоды времени, а также обеспечения безопасности сети от DDOS-атак
PRTG Network Monitor - универсальное решение для сбора, хранения и обработки данных о поведении сети. В отличие от других подобных программ, данный инструмент работает на основе сенсоров – логических единиц, отвечающих за сбор данных по определенным аспектам изучаемого устройства.
ManageEngine NetFlow Analyzer – схожая с остальными по функционалу программа. Её выделяют из ряда других такие возможности, как гибкая настройка аналитики, а так же возможность мониторить поведение сети из любого места, благодаря приложению для телефона.
Как можно заметить, все вышеуказанные программы не только обладают схожим базовым функционалом, но и конкурируют между собой, продумывая и внедряя новые технические решения. Выбор, какой из нескольких десятков программ начать пользоваться – целиком и полностью дело конечного пользователя.
Как следует из названий, проприетарный протокол компании Cisco System EIGRP (Enhanced Interior Gateway Routing Protocol), это протокол «внутреннего шлюза». EIGRP имеет множество преимуществ по сравнению с протоколом RIP (Routing Information Protocol) и своим непосредственным предшественником, протоколом IGRP (Interior Gateway Routing Protocol). По существу, EIGRP это расширенная версия протокола IGRP. Как и RIP, IGRP известен как дистанционно – векторный протокол, но по сравнению с ним он имеет улучшенные характеристики алгоритма расчета оптимального пути до пункта назначения. Метрики IGRP основываются на таких параметрах как полоса пропускания и задержка, в тоже время для протокола RIP важным является длинна маршрута, выраженная в «хопах», то есть количестве узлов на пути следования.
Протокол EIGRP включает в себя алгоритмы, которые часто встречаются в продвинутых протокол маршрутизации, которые работают по принципу «состояния канала». EIGRP использует оптимизированный по сравнению с RIP и IGRP метод предотвращения петель в сети, обеспечивая 100 – процентную гарантию отсутствия петель.
Важное преимущество EIGRP – это высокий показатель масштабируемости и высокая скорость сходимости сети. Итак, давайте разберем конкретные преимущества EIGRP по сравнению с IGRP:
Быстрая сходимость
Поддержка CIDR (бесклассовая адресация) и VLSM (маска подсети переменной длины)
Использует более совершенный алгоритм DUAL (Diffusing Update Algorithm), для определения качества того или иного маршрута.
Может использовать маршруты других протоколов маршрутизации.
Протокол совместим с IGRP и может выполнять маршрутизацию таких протоколов как IPX и Apple AppleTalk
EIGRP представляется как гибридный протокол, который содержит в себе как функционал дистанционно – векторного протокола маршрутизации, так и «состояния канала». Перечислим следующие характеристики:
EIGRP использует множество метрик для определения качества маршрута в добавок к «дистанции»:
Полоса пропускания и задержка (метрики по умолчанию)
Надежность, загрузка, MTU (опциональные метрики)
Оценка качества маршрута с помощью DUAL2
EIGRP, как и протокол OSPF, отправляет сообщения об изменении маршрутизации только тогда, когда в сети случаются какие-либо изменения (для сравнения, RIP и IGRP обновляет широковещательные сообщения периодически)
Протокол EIGRP в рамках сходимости, обменивается только «Hello» сообщениями с соседними маршрутизаторами.
EIGRP не поддерживается на маршрутизаторах других компаний, кроме Cisco.
EIGRP использует следующие административные значения для маршрутов:
Значение 90, для маршрутов полученных по EIGRP
Значение 170, для маршрутов полученных в рамках других протоколов маршрутизации
Компоненты EIGRP
Протокол EIGRP (Enhanced Interior Gateway Routing Protocol) состоит из 4 – х важных компонентов:
Обнаружение соседей
Речь пойдет о технологии, которую используют маршрутизаторы Cisco чтобы обнаружить присутствие напрямую подключенных маршрутизаторов соседей. Процесс обнаружения, позволяет маршрутизаторам использовать небольшие пакеты с маленькой нагрузкой, в рамках которых они передают сообщения «Hello». Отправка подобных пакетов позволяет определить, нормально ли функционирует сосед, или же он недоступен. Маршрутизатор отвечает на эти сообщения, и только после этого маршрутизаторы начинают работу. В случае не ответа, маршрутизатор считается неактивным и процесса коммуникаций не происходит.
Reliable Transport Protocol (RTP)
Или другими словами, надежный транспортный протокол. Обеспечивает надежную и гарантированную доставку юникаст или мультикаст сообщения соседям маршрутизаторам. В рамках эффективного использования RTP, маршрутизаторы используют его только по необходимости.
DUAL алгоритм
Алгоритм маршрутизации, который используется EIGRP для расчета, определения и отслеживания маршрутов без петель. DUAL использует метрики для определения наиболее оптимального маршрута основываясь на «feasible successor» (или «возможный приемник»,о котором мы расскажем во второй части статьи).
Дополнительные модули протокола
Независимые модули, которые используются протоколом EIGRP в рамках сетевого уровня модели OSI для отправки и получения сообщений. Модуль IP для протокола EIGRP носит название IP-EIGRP и предназначен для отправки и получения EIGRP пакетов инкапсулированных в IP – пакеты. IP-EIGRP взаимодействует с DUAL для вычисления маршрутов, которые в дальнейшем хранятся в таблицах маршрутизации.
Во второй части статьи мы продолжим рассказ о таблицах маршрутизации EIGRP
В одной из статей мы рассказывали Вам, что такое Hadoop и с чем его едят. В этой статье мы подробно разберем, как развернуть кластер Hadoop с помощью сборки Cloudera.
Почему Cloudera?
Почему мы выбрали именно этот дистрибутив? Дело в том, что на текущий момент он является самым популярным и широко распространенным набором инструментов для работы с большими объемами данных. Кроме того, данный дистрибутив имеет в составе такое решение как Cloudera Manager этот инструмент позволяет без лишних телодвижений развернуть новый кластер, а также осуществлять управление и наблюдение за его состоянием.
Стоит отметить, что распространение элементов данной сборки осуществляется в виде так называемых парселов пакетов информации в бинарной кодировке. Преимуществами такого решения являются упрощенная загрузка, взаимная согласованность компонентов, возможность единовременной активации всех необходимых установленных элементов, текущие (не кардинальные) обновления без прерывания рабочего процесса, а также простота восстановления после возникновения неполадок.
Также важно представлять, для каких целей Вы будете использовать кластеры Hadoop. Это связано с тем, что для выполнения различных задач Вам потребуются разные варианты по аппаратной мощности. Как правило, конфигурации, используемые для хранения данных, имеют повышенную мощность, а значит, и более высокую стоимость.
Требования к железу
Проработав вопросы с железом, нужно подготовить для развертки кластера программную часть. Для установки и работы потребуется любая система на основе Ubuntu, а также популярными вариантами являются различные версии CentOS, RHEL и Debian. Эти сборки находятся в открытом доступе на сайте разработчика, поэтому с подготовкой сложностей возникнуть не должно.
При установке на серверах будущего кластера при разбивке дисков стоит выделять около 70Гб под программную часть, около 1Гб для внутреннего участка памяти для выгрузки данных из кэша, остальную емкость можно оставить непосредственно для хранения данных.
Установка
Подготовив почву для установки, можно приступать непосредственно к процессу. Проверив соединение с серверами, их доступность и синхронизацию, а так же имеют одинаковые пароли root, а так же убедившись, что все сервера имеют доступ к сайту разработчика для обновления программной части, можно устанавливать непосредственно Cloudera Manager. Далее наше участие в процессе установки будет минимальным программа сама установит все необходимые компоненты. По ее завершению, можно запускать стандартную базу данных, и собственно саму программу.
Далее приступим к, собственно, развертыванию кластера. Это удобнее делать через веб-интерфейс. В строку браузера вводим адрес сервера, затем войдем в систему по умолчанию логин и пароль admin и admin разумеется, первым делом меняем пароли.
Далее выбираем версию дистрибутива. Есть бесплатный вариант с ограниченным функционалом, 60-дневная пробная версия и платная лицензия, предоставляющая наиболее полный набор функций, включая поддержку от производителя. При выборе базовой бесплатной версии можно будет в будущем активировать любую из оставшихся. Это актуально в случае, если программа Вам понравится, и вы приобретете базовые навыки работы с кластером.
В процессе установки Cloudera Manager устанавливает соединение с серверами, входящими в кластер. По умолчанию используется root и одинаковое имя пользователя, поэтому важно чтобы пароли root на всех серверах были одинаковы.
Следующим шагом станет указание хостов, куда будут устанавливаться рабочие элементы Hadoop, а также проверим, все ли сделано верно, и нет ли потерь. Затем выберем репозиторий, из которого будут скачиваться данные для установки, а также выберем вариант с использованием парселов, как и рекомендуется. Можно еще выбрать установку дополнительных инструментов актуальных версий поисковика SOLR и базы данных на основе Impala. Вводим параметры доступа по SSH и запускаем процесс установки.
По окончании установки получаем отчет о всех установленных элементах и их актуальных версиях, после его изучения переходим к следующему этапу выбору вариантов установки дополнительных компонентов Hadoop. Начинающим специалистам рекомендуется выбирать полную установку со временем конфигурацию программных инструментов можно будет менять, удаляя неиспользуемые компоненты и добавляя необходимые. Также программа установки предложит выбрать, какие элементы будут установлены на серверах. Если все сделано правильно вариант "по умолчанию" будет наилучшим выбором.
Далее нас ждет этап настройки базы данных. Настраиваем базу по умолчанию, либо выбираем альтернативный вариант, а также обязательно проверяем, как она работает. После этого настраиваем отдельные элементы в составе нашего кластера и запускаем процесс настройки по выбранным параметрам. По завершению настройки можно переходить к экрану мониторинга кластера, куда выводятся все данные по входящим в кластер серверам.