По вашему запросу ничего не найдено :(
Убедитесь, что запрос написан правильно, или посмотрите другие
наши статьи:
В одной из статей мы рассказывали Вам, что такое Hadoop и с чем его едят. В этой статье мы подробно разберем, как развернуть кластер Hadoop с помощью сборки Cloudera.
Почему Cloudera?
Почему мы выбрали именно этот дистрибутив? Дело в том, что на текущий момент он является самым популярным и широко распространенным набором инструментов для работы с большими объемами данных. Кроме того, данный дистрибутив имеет в составе такое решение как Cloudera Manager этот инструмент позволяет без лишних телодвижений развернуть новый кластер, а также осуществлять управление и наблюдение за его состоянием.
Стоит отметить, что распространение элементов данной сборки осуществляется в виде так называемых парселов пакетов информации в бинарной кодировке. Преимуществами такого решения являются упрощенная загрузка, взаимная согласованность компонентов, возможность единовременной активации всех необходимых установленных элементов, текущие (не кардинальные) обновления без прерывания рабочего процесса, а также простота восстановления после возникновения неполадок.
Также важно представлять, для каких целей Вы будете использовать кластеры Hadoop. Это связано с тем, что для выполнения различных задач Вам потребуются разные варианты по аппаратной мощности. Как правило, конфигурации, используемые для хранения данных, имеют повышенную мощность, а значит, и более высокую стоимость.
Требования к железу
Проработав вопросы с железом, нужно подготовить для развертки кластера программную часть. Для установки и работы потребуется любая система на основе Ubuntu, а также популярными вариантами являются различные версии CentOS, RHEL и Debian. Эти сборки находятся в открытом доступе на сайте разработчика, поэтому с подготовкой сложностей возникнуть не должно.
При установке на серверах будущего кластера при разбивке дисков стоит выделять около 70Гб под программную часть, около 1Гб для внутреннего участка памяти для выгрузки данных из кэша, остальную емкость можно оставить непосредственно для хранения данных.
Установка
Подготовив почву для установки, можно приступать непосредственно к процессу. Проверив соединение с серверами, их доступность и синхронизацию, а так же имеют одинаковые пароли root, а так же убедившись, что все сервера имеют доступ к сайту разработчика для обновления программной части, можно устанавливать непосредственно Cloudera Manager. Далее наше участие в процессе установки будет минимальным программа сама установит все необходимые компоненты. По ее завершению, можно запускать стандартную базу данных, и собственно саму программу.
Далее приступим к, собственно, развертыванию кластера. Это удобнее делать через веб-интерфейс. В строку браузера вводим адрес сервера, затем войдем в систему по умолчанию логин и пароль admin и admin разумеется, первым делом меняем пароли.
Далее выбираем версию дистрибутива. Есть бесплатный вариант с ограниченным функционалом, 60-дневная пробная версия и платная лицензия, предоставляющая наиболее полный набор функций, включая поддержку от производителя. При выборе базовой бесплатной версии можно будет в будущем активировать любую из оставшихся. Это актуально в случае, если программа Вам понравится, и вы приобретете базовые навыки работы с кластером.
В процессе установки Cloudera Manager устанавливает соединение с серверами, входящими в кластер. По умолчанию используется root и одинаковое имя пользователя, поэтому важно чтобы пароли root на всех серверах были одинаковы.
Следующим шагом станет указание хостов, куда будут устанавливаться рабочие элементы Hadoop, а также проверим, все ли сделано верно, и нет ли потерь. Затем выберем репозиторий, из которого будут скачиваться данные для установки, а также выберем вариант с использованием парселов, как и рекомендуется. Можно еще выбрать установку дополнительных инструментов актуальных версий поисковика SOLR и базы данных на основе Impala. Вводим параметры доступа по SSH и запускаем процесс установки.
По окончании установки получаем отчет о всех установленных элементах и их актуальных версиях, после его изучения переходим к следующему этапу выбору вариантов установки дополнительных компонентов Hadoop. Начинающим специалистам рекомендуется выбирать полную установку со временем конфигурацию программных инструментов можно будет менять, удаляя неиспользуемые компоненты и добавляя необходимые. Также программа установки предложит выбрать, какие элементы будут установлены на серверах. Если все сделано правильно вариант "по умолчанию" будет наилучшим выбором.
Далее нас ждет этап настройки базы данных. Настраиваем базу по умолчанию, либо выбираем альтернативный вариант, а также обязательно проверяем, как она работает. После этого настраиваем отдельные элементы в составе нашего кластера и запускаем процесс настройки по выбранным параметрам. По завершению настройки можно переходить к экрану мониторинга кластера, куда выводятся все данные по входящим в кластер серверам.
На сегодняшний день проблемы информационной безопасности в мире приобретают всё большую актуальность. В СМИ часто можно наткнуться на новость об очередной успешной хакерской атаке, крупной утечке критичных данных или очередном вирусе-вымогателе, который срывает работу целых компаний. Даже если Вы человек далёкий от информационной безопасности и мира информационных технологий, то Вы всё равно наверняка слышали о вирусе “WannaCry”, уязвимостях “Spectre” и “Meltdown” и может быть даже о недавней атаке на устройства компании Cisco, которая ударила по крупным провайдерам и парализовала много сервисов и сетевых сегментов.
Однако, широкой огласке обычно подвергаются новости об атаках и уязвимостях, носящие массовый характер, направленных на наиболее распространенные инфраструктурные системы. Мы же хотим рассказать о том, как обстоит ситуация с информационной безопасностью в отдельной в отдельно взятой сфере - IP телефонии и решений VoIP. Разберём наиболее важные проблемы и тренды развития данного направления.
Проблемы информационной безопасности в VoIP
Если раньше, выбирая на чём строить офисную телефонию, заказчиков больше всего волновали вопросы стоимости и надёжности, то в связи с нынешним положением, вопросы защиты и безопасности всё чаще начинают преобладать. Хотя IP телефония имеет массу преимуществ по сравнению с системами традиционной телефонии, её намного легче взломать. В случае с традиционной системой PSTN злоумышленник должен получить физический доступ к среде передачи или системам, которые задействованы в обмене голосовой информацией. IP телефония – это прежде всего сеть с коммутацией пакетов, которые передаются на ряду с другими корпоративными сервисами – Интернетом, почтой и другими. Если эта сеть недостаточно защищена, то злоумышленнику даже не обязательно находиться в одной стране с системой IP телефонии, чтобы получить доступ к критичным данным, украсть их или модифицировать.
Вот почему необходимо обеспечивать многоуровневую защиту систем корпоративной IP телефонии. Недостаточно просто поставить стойкий пароль к интерфейсу управления. Это должен быть чёткий набор определённых мер, применяемых в комплексе – межсетевое экранирование, антивирусная защита, регулярные обновления программного обеспечения, шифрование передаваемых данных и другое.
Отдельно следует уделить внимание повышению осведомлённости своих сотрудников об атаках из разряда социальной инженерии. Одним из наиболее распространённых векторов атаки данного типа на сегодняшний день является “фишинг”. Суть его заключается в том, что злоумышленник рассылает “письма счастья” с вредоносными вложениями, в надежде на то, что человек откроет это вложение и тем самым, загрузит на свой компьютер вредонос. Защититься от таких атак можно сразу на нескольких уровнях:
Межсетевой экран, на котором адрес отправителя фишинговых писем должен быть заблокирован. Автоматизировать процесс получения актуального списка адресов активных отправителей для блокировки на МСЭ, можно с помощью решений Threat Intelligence. Существуют как платные решения от таких компаний как Anomali, ThreatConnect или EclecticIQ, так и OpenSource, например, YETI и MISP.
Решение для защиты почтового сервера, которое проверяет все письма на предмет подозрительных вложений, адреса отправителя, блокирует спам. Примерами таких решений является Kaspersky Security для почтовых серверов, AVG Email Server Edition для ME, McAfee Security for Email Servers. Кстати, в этом случае также можно автоматизировать процесс блокировки с помощью решений TI.
Антивирусное ПО для защиты оконечных устройств, которое заблокирует опасное вложение, если всё-таки вредонос сможет пролезть через МСЭ и почтовый сервер. Для этого подойдёт Kaspersky Endpoint Security, Norton, Trend Micro и другие.
Но если от фишинга можно защититься с помощью специализированных программ и аппаратных решений, то от следующих видов атак, основанной на социальной инженерии, защититься гораздо труднее. Возможно, Вы не знали, но помимо традиционного email “фишинга”, существует также и телефонный. Например, сотруднику Вашей компании на голосовую почту может прийти сообщение от “банка” о том, что кто-то пытался получить доступ к его счёту и что ему необходимо срочно перезвонить по оставленному номеру. Не трудно догадаться, что на другом конце провода, его будет ждать злоумышленник, который постарается сделать всё, чтобы втереться в доверие, украсть данные его счёта, чтобы в итоге похитить денежные средства.
Существует также телефонный “вишинг”. Этот тип атаки направлен на первую линию сотрудников, которые принимают все входящие звонки в Вашей компании. На общий номер поступает звонок от какой-нибудь известной организации или персоны, а дальше с помощью методов психологического давления, доверчивого сотрудника заставляют что-либо сделать. В самом лучшем случае, позвонивший будет агрессивно требовать соединить его с руководством компании, чтобы предложить какие-нибудь услуги, в самом худшем - выдать конфиденциальную или критически важную информацию. А что, если злоумышленник узнает каким банком обслуживается Ваша компания и позвонит бухгалтеру от лица “Вашего банка”? К такому тоже нужно быть готовым.
Защититься от подобного типа атак можно было бы с помощью некоего аналога Threat Intelligence для VoIP – списка телефонных номеров, с которых поступают “фишинговые” и “вишинговые” звонки, чтобы заблокировать их на АТС. Однако, такого решения пока нет, поэтому придётся просвещать сотрудников на тему безопасности.
Безопасность облачных систем
Сейчас уже сложно обозначить чёткие границы офисной сети. С распространением облачных решений, распределённых сетей VPN и всеобщей виртуализации, корпоративная сеть уже перестала иметь чёткую географическую привязку.
Аналогично обстоят дела и в сфере VoIP. Каждый крупный провайдер IP телефонии имеет в своем наборе услуг облачную АТС, которая настраивается в считанные минуты и способна обеспечить телефонией компанию любого размера и неважно где территориально она расположена. Облачная или виртуальная АТС – это очень удобное решение, которое привлекает заказчиков тем, что не надо держать лишние сервера в здании и обслуживать их. Вместо этого, можно просто арендовать необходимые серверные мощности или сервис телефонии. Однако, с точки зрения информационной безопасности, облачные АТС – это идеальная цель для хакерских атак. Потому что, как правило, аккаунты для доступа к настройкам АТС, находятся в открытом доступе. Если владелец аккаунта не озаботится созданием стойкого пароля, то он рискует оплатить немаленький счёт за телефонные разговоры злоумышленника или предоставить доступ к записям разговоров своих сотрудников. В этой связи при выборе провайдера следует также проверить обеспечивает ли он дополнительные мероприятия по защите целостности и конфиденциальности данных. Используется шифрование при подключении к аккаунту с настройками облачной АТС, шифруются ли данные при их транспортировке.
Тренды развития направления ИБ в VoIP
Наиболее распространённым методом защиты корпоративной инфраструктуры является организация защищённой сети VPN, когда подключение извне осуществляется по зашифрованному каналу, а данные внутри сети передаются в незашифрованном виде. Это относится и к голосовому трафику. Однако, тенденции развития информационных технологий указывают на то, что в недалёком будущем голосовая информация также будет подвергаться шифрованию. Большинство VoIP вендоров уже давно имплементируют в своих решениях поддержку таких протоколов как SIP/TLS, SRTP, ZRTP и д.р, стимулируя пользователей применять внедрять ещё один уровень защиты. Например, большинство IP-телефонов и решений видеоконференцсвязи от компании Cisco, а также системы CUCM, CUBE, Cisco SBC, UCCS и д.р поддерживают TLS 1.2 и SRTP. Самое распространённое Open Source решение IP-АТС Asterisk имеет поддержку защищённых протоколов передачи медиа трафика начиная с версии 1.8. В программной Windows-based АТС 3CX версии V15, поддержка SRTP включена по умолчанию.
VoIP решения зачастую очень тесно интегрируются с другими корпоративными системами, такими как CRM, ERP, CMS, не говоря уже о таких каналах бизнес коммуникаций как email, обмен мгновенными сообщениями (чат) и социальные сети, формируя в совокупности концепцию UC (Unified Communications). Потенциальные преимущества, которые несёт данная концепция очень привлекательны, но вместе с тем, создаётся множество точек уязвимых к возможному взлому. Недостаточный уровень защиты одной из них может быть угрозой всей корпоративной сети. Поэтому разработчики, несомненно, будут усиливать безопасность каналов интеграции данных систем.
Можно также ожидать интеграцию систем корпоративной телефонии в такие средства защиты как DLP (средства защиты от утечек), адаптации метрик VoIP в SIEM системах (система управления информацией и событиями безопасности), а также появление унифицированных репутационных баз (Threat Intelligence) со списками потенциально опасных номеров или других индикаторов компрометации, относящихся к VoIP, которые будут автоматически блокироваться имеющимися средствами защиты.
Одна из наиболее распространенных ошибок, возникающих при просмотре веб-страниц, - это ошибка 500 Internal Server Error. Это сообщение указывает на то, что на веб-сервере возникли технические проблемы.
Рассказываем означает ошибка 500, почему вы получаете код HTTP 500 и как устранить эти ошибки.
Что такое ошибка HTTP 500
Каждый раз, когда вы открываете веб-страницу, ваш браузер отправляет запрос на сервер, на котором размещен сайт, который возвращает запрошенные данные и код ответа. Коды состояния HTTP-ответа указывают, был ли запрос успешным или нет.
Ответы делятся на пять классов. Коды в диапазоне от 500 до 599 указывают на ошибку сервера.
Код состояния HTTP 500 - это общий ответ об ошибке, который возвращается сервером, когда другой код ошибки не подходит. Это может быть вызвано рядом проблем, которые не позволяют серверу выполнить запрос.
Если страница, которую вы посещаете, выдает ошибку 500, вы ничего не можете сделать, поскольку ошибка не вызвана вашим браузером или подключением к Интернету. Несмотря на то, что ошибка возникает на стороне сервера, вы можете попробовать некоторые из следующих вариантов:
Перезагрузите браузер или попробуйте использовать другой. Шансы на то, что страница загрузится при обновлении браузера, невелики, но все же стоит попробовать.
Попробуйте очистить кеш браузера. Если страница, на которой отображается ошибка 500, кэшируется, после очистки кеша браузер запросит новую версию страницы.
Вернуться позже. Тем временем веб-мастер может исправить проблему с сервером.
Свяжитесь с владельцами сайтов. Последний оставшийся вариант - связаться с лицом, ответственным за обслуживание веб-сайта.
Устранение ошибки HTTP 500
Ошибка 500 Internal Server Error может быть вызвана рядом различных причин. Вот самые распространенные:
Проблема с разрешением. Когда веб-сервер не имеет разрешений на доступ к файлам сайта, он может выдать ошибку HTTP 500. Решением этой проблемы является рекурсивное изменение разрешений для файла веб-сайта.
Ошибка синтаксиса .htaccess. Если вы используете Apache в качестве веб-сервера, то, скорее всего, у вас есть файл .htaccess в корневом каталоге вашего сайта. Неверный синтаксис или несуществующая директива модуля может привести к ошибке 500.
Проблема, связанная с базой данных. Ошибка HTTP 500 также может быть вызвана неверной информацией о сервере базы данных или поврежденной базой данных.
Проблемы с плагинами и темами. Если вы используете WordPress или аналогичную CMS, ошибка 500 может появиться после обновления или изменения плагина/темы.
Проблемы с сервером. Поврежденная файловая система или исчерпанная память могут привести к ошибке 500.
Модули Node.js. Если у вас есть сайт на основе Node.js, обновление модулей может вызвать внутреннюю ошибку сервера 500.
Взломанный сайт. Довольно часто вредоносный код, внедряемый на ваш сайт, приводит к ошибке 500.
Несовместимый модуль. Загрузка несовместимого модуля PHP или Apache вызывает ошибку 500.
Тайм-аут внешнего ресурса. Если сервер взаимодействует с внешней службой и если эти службы недоступны, сервер отобразит сообщение об ошибке 500.
Лучший способ определить, почему произошла ошибка 500, - это проверить логи сервера. Расположение логов зависит от вашего дистрибутива Linux и веб-сервера. Наиболее распространенные места для Apache и Nginx следующие:
/var/log/apache2/error.log
/var/log/httpd/error_log
/var/log/nginx/error_log
Если ваше приложение построено на Node.js, проверьте логи Node.js.
Обычно логи сервера содержит подробную информацию об ошибке, которая поможет вам определить и исправить ошибку.