Ќас знает голосовой помощник јлисајлиса это умеет

ћерион Ќетворкс

4 минуты чтени€

¬ одной из статей мы рассказывали ¬ам, что такое Hadoop и с чем его ед€т. ¬ этой статье мы подробно разберем, как развернуть кластер Hadoop с помощью сборки Cloudera.

Hadoop, слоник надувной, 1 шт.

ѕочему Cloudera?

ѕочему мы выбрали именно этот дистрибутив? ƒело в том, что на текущий момент он €вл€етс€ самым попул€рным и широко распространенным набором инструментов дл€ работы с большими объемами данных.  роме того, данный дистрибутив имеет в составе такое решение как Cloudera Manager этот инструмент позвол€ет без лишних телодвижений развернуть новый кластер, а также осуществл€ть управление и наблюдение за его состо€нием.

—тоит отметить, что распространение элементов данной сборки осуществл€етс€ в виде так называемых парселов пакетов информации в бинарной кодировке. ѕреимуществами такого решени€ €вл€ютс€ упрощенна€ загрузка, взаимна€ согласованность компонентов, возможность единовременной активации всех необходимых установленных элементов, текущие (не кардинальные) обновлени€ без прерывани€ рабочего процесса, а также простота восстановлени€ после возникновени€ неполадок.

“акже важно представл€ть, дл€ каких целей ¬ы будете использовать кластеры Hadoop. Ёто св€зано с тем, что дл€ выполнени€ различных задач ¬ам потребуютс€ разные варианты по аппаратной мощности.  ак правило, конфигурации, используемые дл€ хранени€ данных, имеют повышенную мощность, а значит, и более высокую стоимость.

“ребовани€ к железу

ѕроработав вопросы с железом, нужно подготовить дл€ развертки кластера программную часть. ƒл€ установки и работы потребуетс€ люба€ система на основе Ubuntu, а также попул€рными вариантами €вл€ютс€ различные версии CentOS, RHEL и Debian. Ёти сборки наход€тс€ в открытом доступе на сайте разработчика, поэтому с подготовкой сложностей возникнуть не должно.

ѕравило буравчика дл€ подбора Hadoop конфигурации

ѕри установке на серверах будущего кластера при разбивке дисков стоит выдел€ть около 70√б под программную часть, около 1√б дл€ внутреннего участка пам€ти дл€ выгрузки данных из кэша, остальную емкость можно оставить непосредственно дл€ хранени€ данных.

”становка

ѕодготовив почву дл€ установки, можно приступать непосредственно к процессу. ѕроверив соединение с серверами, их доступность и синхронизацию, а так же имеют одинаковые пароли root, а так же убедившись, что все сервера имеют доступ к сайту разработчика дл€ обновлени€ программной части, можно устанавливать непосредственно Cloudera Manager. ƒалее наше участие в процессе установки будет минимальным программа сама установит все необходимые компоненты. ѕо ее завершению, можно запускать стандартную базу данных, и собственно саму программу.

ƒалее приступим к, собственно, развертыванию кластера. Ёто удобнее делать через веб-интерфейс. ¬ строку браузера вводим адрес сервера, затем войдем в систему по умолчанию логин и пароль admin и admin разумеетс€, первым делом мен€ем пароли.

ƒалее выбираем версию дистрибутива. ≈сть бесплатный вариант с ограниченным функционалом, 60-дневна€ пробна€ верси€ и платна€ лицензи€, предоставл€юща€ наиболее полный набор функций, включа€ поддержку от производител€. ѕри выборе базовой бесплатной версии можно будет в будущем активировать любую из оставшихс€. Ёто актуально в случае, если программа ¬ам понравитс€, и вы приобретете базовые навыки работы с кластером.

¬ процессе установки Cloudera Manager устанавливает соединение с серверами, вход€щими в кластер. ѕо умолчанию используетс€ root и одинаковое им€ пользовател€, поэтому важно чтобы пароли root на всех серверах были одинаковы.

¬ыбор версии Cloudera

—ледующим шагом станет указание хостов, куда будут устанавливатьс€ рабочие элементы Hadoop, а также проверим, все ли сделано верно, и нет ли потерь. «атем выберем репозиторий, из которого будут скачиватьс€ данные дл€ установки, а также выберем вариант с использованием парселов, как и рекомендуетс€. ћожно еще выбрать установку дополнительных инструментов актуальных версий поисковика SOLR и базы данных на основе Impala. ¬водим параметры доступа по SSH и запускаем процесс установки.

¬ыбор хостов дл€ установки компонентов Hadoop

ѕо окончании установки получаем отчет о всех установленных элементах и их актуальных верси€х, после его изучени€ переходим к следующему этапу выбору вариантов установки дополнительных компонентов Hadoop. Ќачинающим специалистам рекомендуетс€ выбирать полную установку со временем конфигурацию программных инструментов можно будет мен€ть, удал€€ неиспользуемые компоненты и добавл€€ необходимые. “акже программа установки предложит выбрать, какие элементы будут установлены на серверах. ≈сли все сделано правильно вариант "по умолчанию" будет наилучшим выбором.

ќтчет об установленных элементах

ƒалее нас ждет этап настройки базы данных. Ќастраиваем базу по умолчанию, либо выбираем альтернативный вариант, а также об€зательно провер€ем, как она работает. ѕосле этого настраиваем отдельные элементы в составе нашего кластера и запускаем процесс настройки по выбранным параметрам. ѕо завершению настройки можно переходить к экрану мониторинга кластера, куда вывод€тс€ все данные по вход€щим в кластер серверам.


ѕолезна ли ¬ам эта стать€?