По вашему запросу ничего не найдено :(
Убедитесь, что запрос написан правильно, или посмотрите другие
наши статьи:
В одной из вышедших ранее статей мы знакомились с инструментарием Hadoop и рассматривали процедуру развертывания кластера на базе хадуп. Сегодня мы рассмотрим сценарии использования Hadoop, иными словами зачем он нужен и в чем его польза.
Вспомним, что же такое Hadoop?
Hadoop, если говорить простым языком это набор программных решений, позволяющих осуществлять работу с так называемыми "большими данными". Большие данные, в данном контексте это гигантские объемы данных (не обязательно имеющих структуру), которые наиболее эффективно обрабатываются горизонтально масштабируемыми программами. Такие программные решения позволяют разбивать большие объемы данных на части и использовать для работы с этими элементами множество отдельных аппаратных машин, выполняющих обработку данных параллельно. Собственно, одним из таких программных решений и является Hadoop.
Благодаря широкому набору элементов для конфигурирования, Hadoop имеет очень большую гибкость, то есть этот инструмент можно настроить под множество различных задач. Стоит, однако, отметить, что наибольшую эффективность при обработке данных Hadoop имеет в сочетании с другими программными решениями (как пример можно привести SAP HANA)
Разберем наиболее часто используемые сценарии работы Hadoop. Можно использовать эту технологию в качестве базы данных, хранилища данных, инструмента обработки и анализа данных.
В качестве хранилища данных Hadoop привлекает тем, что может хранить разнородные данные из множества источников, без ограничения на типы анализа. Конкретные сценарии использования в данном случае будут таковы:
Хранение больших объемов документов: Конкретный пример поликлиники. Медицинские данные населения вполне можно считать большими данными, поскольку они должны храниться долгое время и со временем эта информация пополняется. С учетом перехода системы здравоохранения на электронный документооборот, Hadoop будет являться очень эффективным решением.
Архивы журналов электронной почты: С учетом законодательства, хранение переписки по электронной почте с последующим анализом требует эффективных решений для реализации. И здесь опять-таки Hadoop является одним из лучших вариантов.
Справочные данные: В различных отраслях человеческой деятельности для изучения используется метод сбора данных и их анализа. Например, метеостанции собирают данные о погоде, затем отправляют их в единый центр, после чего данные анализируются и составляется полная картина для отдельного региона или для всей планеты. Hadoop, в данном случае, будет эффективен, если точек сбора данных достаточно много, и поступающие данные регулярны. Решение Hadoop позволяет довольно быстро собрать данные и длительное время хранить их на серверах для дальнейшего анализа.
Социальные сети: Размещение больших данных в хранилищах Hadoop позволяет осуществить к ним быстрый доступ идеальное решение для социальных сетей.
Непрерывный сбор данных в режиме реального времени: Информация, поступающая с датчиков, сенсоров, камер видеонаблюдения и т.п. имеет огромное значение для любого современного технически ориентированного предприятия. Хранилища Hadoop эффективны и для данного сценария использования.
Также Hadoop может использоваться чисто как база данных для сторонних программных решений. В этом случае сценарии использования могут быть такими:
Извлечение и адаптация данных из других систем: В данном случае, благодаря гибкости, Hadoop может отбирать необходимые данные и интегрировать их в свои базы, для дальнейшей обработки и анализа
База данных для больших объемов информации в реальном времени: Эта возможность имеет серьезное значение для социальных сетей, где важно сохранять различные выборки данных
Предоставление доступа к Hadoop другим системам: Hadoop может эффективно интегрироваться в качестве базы данных в другие программные решения.
В виде инструмента обработки и анализа данных Hadoop так же проявляет себя очень эффективно.
Анализ рисков предприятия: Благодаря собранным данным и параллельной обработке, программа позволяет быстро просчитать риски и выявить слабые места в деятельности организации
Оперативное обновление данных: Hadoop позволяет вносить дополнительную информацию в имеющиеся данные, что позволяет устранить проблемы с нехваткой нужной информации.
Быстрое выявление различий в больших объемах схожих данных: Здесь в качестве примера можно привести сравнение расшифровок генетического кода. Использование Hadoop в разы ускоряет этот процесс.
Таким образом, можно сказать, что на текущий момент дистрибутивы Hadoop пожалуй, самый эффективный набор инструментов для обработки больших данных. А благодаря непрерывной работе над улучшением инструментария, в ближайшее время вряд ли появится что-то более эффективное.
Привет! В голливудских фильмах про хакеров, ты наверняка видел как герой сидит перед компом, быстро набирая команды на клавиатуре. На черном экране бегут зеленые буквы, появляется надпись “HACKED!” и в результате у него получается за считанные секунды, обойти все системы защиты, открыть хранилище банка или и вовсе запустить ядерную боеголовку.
Ты можешь подумать, что в современном мире, где царит удобство, почти у всего есть приложение и графический интерфейс ввод команд в черный экран - это прошлый век. Но спешим тебя разубедить! Сетевой инженер, администратор, специалист по информационной безопасности и конечно же хакер точно также сидит перед компом и вбивает на клавиатуре команды, чтобы выполнить определенные задачи. Сейчас мы объясним, что это за черный экран такой и как с помощью него человек может взаимодействовать с сетевым устройством.
Когда компьюстеры только появлялись, у них не было ни дисплеев, ни клавиатуры, ни тем более мыши. Но их надо было как-то настраивать и заставлять их складывать большие числа, которые самому было складывать лень. Нужно было некое устройство, с помощью которого человек мог бы взаимодействовать с компьютером. Такое устройство - прослойку принято называть терминалом.
Видео: SSH/Telnet/Терминал/Консоль
Заценили ролик? Продолжаем.
На первых порах ими стали телетайпы. Это такие печатные машинки, которые соединяются по электрическому каналу для отправки и получения текстовых сообщений на простом листе бумаги. Да-да, раньше этим хакерским черным экраном был простой лист с командами! Это было дико неудобно и медленно, но идея ввода и вывода информации построчно затем легла в основу будущих интерфейсов.
Позднее, посредством электронно-лучевой трубки, строку для ввода команд вывели на экран и плюс-минус в таком виде она добралась до наших дней. Таким образом, мы теперь вбиваем команды не на печатной машинке, а на клавиатуре и видим эти команды не на листе бумаги, а на мега тонком UltraHD мониторе, но модель взаимодействия осталась такой же как и 60 лет назад.
Вообще совокупность устройств для взаимодействия с человека и компьютера называют консолью. Это может быть клавиатура, мышь, монитор, дисплей, микрофон, джойстик, но с одной оговорочкой. Всё это должно быть подключено непосредственно к компу и ты должен находиться прямо перед ним.
А вот если ты сидишь в удобном отремонтированном кабинете с кондиционером и через промежуточное устройство подключаешься к серверу, который стоит в подвале здания, то это уже терминал. Улавливаешь суть? Консоль - это когда ты сидишь прямо перед устройством и юзаешь перефирию подключенную прямо к нему. Терминал - это когда ты через что-то ещё (зачастую удаленно) подключаешься к консоли взаимодействуешь с ней.
Супер, разобрались. Ну и что, можно взаимодействовать с компами только если за ними сидеть или через какой-то промежуточный девайс? Конечно нет!
Для этого был придуман протокол Telnet (телетайп нетворк).
С помощью него можно удаленно по сети подключиться к сетевому устройству и заниматься его администрированием. По умолчанию, телнет использует TCP порт 23.
При подключении по телнет ты с помощью текстовых команд можешь говорить удаленному серверу что делать - запускать программы, создавать и удалять файлы и директории, управлять сетевыми параметрами, гонять гусей короче вообще всё на что хватит прав, а самое главное ты при этом можешь находиться на другом конце планеты.
Всё было бы просто замечательно, если бы телнет не был разработан в 69 году, как следует из названия - для тех самых телетайпов. А в те времена, на безопасность было вообще пофиг. Дело в том, что все команды, которые ты вбиваешь по телнет, включая логины и пароли передаются в открытом виде, а значит любой, кто перехватит твой телнет трафик сможет узнать всё что ты делал в рамках сессии.
Поэтому сегодня использование телнет для доступа к удаленным устройствам в профессиональном сообществе считается зашкваром. “Ну блеск, и как же теперь лазить на удаленные компы, сервера и прочий сетевой хлам”? - спросите вы. Тут хочется ответить тремя буквами - SSH (Secure Shell) или защищенная оболочка, хотя так никто не говорит.
Этот парень создан для защищенного удаленного администрирования и внимательно слушает TCP порт 22. Все команды, которые ты введешь в рамках сессии, включая логины и пароли, будут зашифрованы уникальным ключом и даже если хацкеры перехватят твой трафик, то вряд ли им удастся его расшифровать. Мало того, он ещё и целостность переданной информации будет проверять, чтоб ничего не потерялось и не побилось. Благодаря своей надёжности, SSH также применяется для защищенной передачи файлов, (SFTP - SSH File Transfer Protocol, SCP - Secure Copy) и туннелирования других протоколов.
Чтобы иметь возможность подключаться к девайсам как по телнет, так и по SSH нужно 2 вещи:
Удаленное устройство должно выступать как Telnet/SSH - сервер, то есть иметь некое ПО, которое будет понимать эти протоколы
У тебя должен быть Telnet/SSH клиент, с помощью которого ты сможешь инициировать соединение.
Обычно, в качестве такого клиента выступает эмулятор терминала. Это такая программа, которая даёт тебе возможность подключиться к устройству (по сети или напрямую) и выводит в отдельном окошке его консоль. Примером такой программы может служить PuTTY.
Система хранения данных - это программно-аппаратное решение для надежного и безопасного хранения данных, а также предоставления гарантированного доступа к ним.
Так, под надежностью подразумевается обеспечение сохранности данных, хранящихся в системе. Такой комплекс мер, как резервное копирование, объединение накопителей в RAID массивы с последующим дублированием информации способны обеспечить хотя бы минимальный уровень надежности при относительно низких затратах. При этом также должна обеспечиваться доступность, т. е. возможность беспрепятственной и непрерывной работы с информацией для санкционированных пользователей. В зависимости от уровня привилегий самих пользователей, система предоставляет разрешение для выполнения операций чтения, записи, перезаписи, удаления и так далее.
Безопасность является, пожалуй, наиболее масштабным, важным и труднореализуемым аспектом системы хранения данных. Объясняется это тем, что требуется обеспечить комплекс мер, направленный на сведение риска доступа злоумышленников к данным к минимуму. Реализовать это можно использованием защиты данных как на этапе передачи, так и на этапе хранения. Также важно учитывать возможность самих пользователей неумышленно нанести вред не только своим, но и данным других пользователей.
Топологии построения систем хранения данных
Большинство функции, которые выполняют системы хранения данных, на сегодняшний день, не привязаны к конкретной технологии подключения. Описанные ниже методы используется при построении различных систем хранения данных. При построении системы хранения данных, необходимо четко продумывать архитектуру решения, и исходя из поставленных задач учитывать достоинства и недостатки, присущие конкретной технологии в конкретной ситуации. В большинстве случаев применяется один из трех видов систем хранения данных:
DAS;
NAS;
SAN.
DAS (Direct-attached storage) - система хранения данных с прямым подключением (рисунок ниже). Устройство хранения (обычно жесткий диск) подключается непосредственно к компьютеру через соответствующий контроллер. Отличительным признаком DAS является отсутствие какого-либо сетевого интерфейса между устройством хранения информации и вычислительной машиной. Система DAS предоставляет коллективный доступ к устройствам хранения, однако для это в системе должно быть несколько интерфейсов параллельного доступа.
Главным и существенным недостатком DAS систем является невозможность организовать доступ к хранящимся данным другим серверам. Он был частично устранен в технологиях, описанных ниже, но каждая из них привносит свой новый список проблем в организацию хранения данных.
NAS (Network-attached storage) - это система, которая предоставляет доступ к дисковому пространству по локальной сети (рисунок выше). Архитектурно, в системе NAS промежуточным звеном между дисковым хранилищем и серверами является NAS-узел. С технической точки зрения, это обычный компьютер, часто поставляемый с довольно специфической операционной системой для экономии вычислительных ресурсов и концентрации на своих приоритетных задачах: работы с дисковым пространством и сетью.
Дисковое пространство системы NAS обычно состоит из нескольких устройств хранения, объединенных в RAID - технологии объединения физических дисковых устройств в логический модуль, для повышения отказоустойчивости и производительности. Вариантов объединения довольно много, но чаще всего на практике используются RAID 5 и RAID 6 [3], в которых данные и контрольные суммы записываются на все диски одновременно, что позволяет вести параллельные операции записи и чтения.
Главными преимуществами системы NAS можно назвать:
Масштабируемость - увеличение дискового пространства достигается за счет добавления новых устройств хранения в уже существующий кластер и не требует переконфигурации сервера;
Легкость доступа к дисковому пространству - для получения доступа не нужно иметь каких-либо специальных устройств, так как все взаимодействие между системой NAS и пользователями происходит через сеть.
SAN (Storage area network) - система, образующая собственную дисковую сеть (рисунок ниже). Важным отличием является то, что с точки зрения пользователя, подключенные таким образом SAN-устройства являются обычными локальными дисками. Отсюда и вытекают основные преимущества системы SAN:
Возможность использовать блочные методы хранения - базы данных, почтовые данные,
Быстрый доступ к данным - достигается за счет использования соответствующих протоколов.
Системы резервного копирования данных
Резервное копирование - процесс создания копии информации на носителе, предназначенном для восстановления данных в случае их повреждения или утраты. Существует несколько основных видов резервного копирования:
Полное резервное копирование;
Дифференциальное резервное копирование;
Инкрементное резервное копирование.
Рассмотрим их подробнее.
Полное резервное копирование. При его применении осуществляется копирование всей информации, включая системные и пользовательские данные, конфигурационные файлы и так далее (рисунок ниже).
Дифференциальное резервное копирование. При его применении сначала делается полное резервное копирование, а впоследствии каждый файл, который был изменен с момента первого полного резервного копирования, копируется каждый раз заново. На рисунке ниже представлена схема, поясняющая работу дифференциального резервного копирования.
Инкрементное резервное копирование. При его использовании сначала делается полное резервное копирование, затем каждый файл, который был изменен с момента последнего резервного копирования, копируется каждый раз заново (рисунок ниже).
К системам резервного копирования данных выдвигаются следующие требования:
Надежность - обеспечивается использованием отказоустойчивого оборудования для хранения данных, дублированием информации на нескольких независимых устройствах, а также своевременным восстановлением утерянной информации в случае повреждения или утери;
Кроссплатформенность - серверная часть системы резервного копирования данных должна работать одинаково с клиентскими приложениями на различных аппаратно-программных платформах;
Автоматизация - сведение участие человека в процессе резервного копирования к минимуму.
Обзор методов защиты данных
Криптография - совокупность методов и средств, позволяющих преобразовывать данные для защиты посредством соответствующих алгоритмов.
Шифрование - обратимое преобразование информации в целях ее сокрытия от неавторизованных лиц. Признаком авторизации является наличие соответствующего ключа или набора ключей, которыми информация шифруется и дешифруется. Криптографические алгоритмы можно разделить на две группы:
Симметричное шифрование;
Асимметричное шифрование.
Под симметричным шифрованием понимаются такие алгоритмы, при использовании которых информация шифруется и дешифруется одним и тем же ключом. Схема работы таких систем представлена на рисунке ниже.
Главным проблемным местом данной схемы является способ распределения ключа. Чтобы собеседник смог расшифровать полученные данные, он должен знать ключ, которым данные шифровались. Так, при реализации подобной системы становится необходимым учитывать безопасность распределения ключевой информации для того, чтобы на допустить перехвата ключа шифрования.
К преимуществам симметричных криптосистем можно отнести:
Высокая скорость работы за счет, как правило, меньшего числа математических операций и более простых вычислений;
Меньшее потребление вычислительной мощности, в сравнении с асимметричными криптосистемами;
Достижение сопоставимой криптостойкости при меньшей длине ключа, относительно асимметричных алгоритмов.
Под асимметричным шифрованием понимаются алгоритмы, при использовании которых информация шифруется и дешифруется разными, но математически связанными ключами - открытым и секретным соответственно. Открытый ключ может находится в публичном доступе и при шифровании им информации всегда можно получить исходные данные путем применения секретного ключа. Секретный ключ, необходимый для дешифрования информации, известен только его владельцу и вся ответственность за его сохранность кладется именно на него. Структурная схема работы асимметричных криптосистем представлена на рисунке ниже.
Ассиметричные криптосистемы архитектурно решают проблему распределения ключей по незащищенным каналам связи. Так, если злоумышленник перехватит ключ, применяемый при симметричном шифровании, он получит доступ ко всей информации. Такая ситуация исключена при использовании асимметричных алгоритмов, так как по каналу связи передается лишь открытый ключ, который в свою очередь не используется при дешифровании данных.
Другим местом применения асимметричных криптосистем является создание электронной подписи, позволяющая подтвердить авторство на какой-либо электронный ресурс.
Достоинства асимметричных алгоритмов:
Отсутствует необходимость передачи закрытого ключа по незащищенного каналу связи, что исключает возможность дешифровки передаваемых данных третьими лицами,
В отличии от симметричных криптосистем, в которых ключи шифрования рекомендуется генерировать каждый раз при новой передаче, в асимметричной их можно не менять продолжительное время.
Подведём итоги
При проектировании таких систем крайне важно изначально понимать какой должен получиться результат, и исходя из потребностей тщательно продумывать физическую топологию сети хранения, систему защиты данных и программную архитектуру решения. Также необходимо обеспечить резервное копирование данных для своевременного восстановления в случае частичной или полной утери информации. Выбор технологий на каждом последующем этапе проектирования, зачастую, зависит от принятых ранее решений, поэтому корректировка разработанной системы в таких случаях, нередко, затруднительна, а часто даже может быть невозможно.