По вашему запросу ничего не найдено :(
Убедитесь, что запрос написан правильно, или посмотрите другие
наши статьи:
Облачное хранилище позволяет хранить ваши данные на чужом жестком диске в дата-центрах по всему миру. Вам не нужно беспокоиться о потере ваших данных, и вы можете получить к ним доступ из любого места.
И, хотите верьте, хотите нет, но многие из этих сервисов имеют довольно щедрые бесплатные предложения. Так что стоит учитывать, что базовое бесплатное хранилище можно бесплатно ненамного увеличить, путем выполнения различных условий от хранилища – например, можно получить дополнительное место за реферальные ссылки, пост соцсетях или что-то в этом роде.
В этой статье мы расскажем о главных поставщиках облачных хранилищ, чтобы вы могли решить, какие из них вы хотите использовать.
Для чего нужно облачное хранилище?
Вот наиболее распространенные варианты использования:
Расширение вашего локального хранилища
У вас может быть ноутбук или телефон с ограниченным объемом памяти. Конечно можно установить дополнительный жесткий диск SSD или SD-карту, но это может быть дорого. Кроме того, некоторые устройства не имеют дополнительного слота для жесткого диска.
Резервное копирование ваших данных
Большинство поставщиков облачных хранилищ устойчивы к потере данных. Когда вы загружаете данные в облако, поставщик хранит копии ваших данных до шести раз на шести разных жестких дисках в отдельных изолированных центрах обработки данных.
С вашей точки зрения, будет казаться, что существует только один файл, но эти копии существуют. Эта облачная стратегия избыточных копий называется высокой доступностью и гарантирует возможность восстановления данных в случае виртуальных или физических катастроф. Так что, если у вас есть ценные фотографии, которые вы не хотите потерять, облако - лучшее место для них.
Совместное использование и сотрудничество
Облачное хранилище позволяет вам обмениваться файлами по вашему выбору с друзьями и коллегами. При обмене файлами по электронной почте, вы ограничены около 20 МБ на электронную почту. Облачное хранилище позволяет вам делиться терабайтами по размеру.
Защита ваших данных
Когда вы загружаете ваши данные в облачное хранилище, они шифруют ваши данные при сбросе. Некоторые провайдеры позволяют вам защитить паролем, требуют ключ шифрования или применяют многофакторную аутентификацию, требующую дополнительного шага проверки для получения доступа.
Бесплатные облачные хранилища
Существует множество провайдеров облачных хранилищ, и большинство из них имеют бесплатный уровень в несколько гигабайт. Используя различные облачные провайдеры, вы можете получить терабайты бесплатного хранилища.
Мы разделили бесплатные облачные хранилища на две категории: одни для обычного потребителя и дополнительные опции для разработчиков.
Бесплатное удобное облачное хранилище для обычных пользователей
Dropbox - 2 ГБ
Dropbox - один из старейших и самых популярных поставщиков облачных хранилищ для широкого потребителя. Dropbox имеет простой интерфейс, и синхронизация файлов с вашим локальным компьютером - это без проблем. Базовый бесплатный аккаунт предоставляет вам 2 гигабайта облачного хранилища. Также, возможно, вам будет интересно узнать, что в Dropbox используется AWS S3(Amazon Simple Storage Service).
Amazon Drive - 5 ГБ с основной подпиской
Amazon более известна своим хранилищем для разработчиков AWS S3, чем Amazon Drive, однако у нее предложение для обычных пользователей. Если вы хотите получить бесплатные 5 ГБ, вам необходимо приобрести подписку Amazon Prime.
OneDrive - 5 ГБ
Если вы работаете в Windows 10, то у вас уже есть предустановленный OneDrive, что имеет смысл, поскольку OneDrive является службой облачного хранения Microsoft. Базовый аккаунт дает вам 5 гигабайт облачного хранилища.
Google Drive - 15 ГБ
Если у вас есть Gmail или телефон или планшет на Android, то вы в одном клике от доступа к Google Диску. По умолчанию вы получаете 15 гигабайт облачного хранилища. У него отличные тарифы, а интерфейс очень прост в использовании.
iCloud - 5 ГБ
Если вы используете Mac или iPhone или iPad, то при настройке учетной записи Apple вас спросили, хотите ли вы использовать iCloud. Кстати, вам не нужно владеть продуктами Apple, чтобы воспользоваться преимуществами хранилища iCloud. Базовый аккаунт дает 5 бесплатных гигабайт.
Box - 10 ГБ
Однажды Box был так же популярен, как Dropbox, особенно когда предлагал новым пользователям 100 гигабайт бесплатно. Но в какой-то момент Box изменил свою направленность, добавив несколько функций, подходящих для профессиональных отраслей. Но них по-прежнему есть индивидуальный аккаунт, который дает 10 гигабайт хранилища.
Яндекс.Диск – 10 ГБ
Яндекс.Диск - это облачный сервис, принадлежащий компании Яндекс, позволяющий пользователям хранить пользователям бесплатно 10 гигабайт.
Облако Mail.ru – 8 ГБ
Облако Mail.ru - облачное хранилище данных компании Mail.ru Group, предоставляющее 8 гигабайт бесплатного места всем пользователям при регистрации.
Бесплатное облачное хранилище для разработчиков
Эти облачные решения для хранения предназначены для разработчиков, создающих веб-приложения и мобильные приложения. Чтобы получить доступ к этим облачным хранилищам, вам необходимо предоставить кредитную карту, которая может взимать плату за проверку.
Эти тарифы не предусматривают жестких ограничений, то есть, если вы внезапно выйдете за пределы бесплатного уровня, с вас будет спишется плата. Поэтому требуется тщательный мониторинг, чтобы избежать больших счетов.
Amazon S3 - 5 ГБ
Amazon создала дочернюю компанию под названием AWS (Amazon Web Services), и они предлагают более 175 услуг, среди которых S3. В настоящее время AWS является самым популярным провайдером среди технических стартапов. S3, если вам интересно, расшифровывается как Simple Storage Service. Amazon S3 дает бесплатно 5 гигабайт.
AWS предлагает более 200 облачных сервисов. Когда вы запускаете облачную службу, вы получаете полную инфраструктуру, специально настроенную для конкретной цели - базу данных, диспетчер очереди сообщений, службу контейнеризации. Из числа облачных провайдеров, представленных на рынке, AWS предлагает самый большой выбор услуг. AWS имеет 66 зон доступности, которые обеспечивают глобальное присутствие и обеспечивают 99,99% доступности в любое время и в любом месте. Зоны доступности гарантируют достаточную избыточность и устойчивость, чтобы противостоять возможным сбоям и поддерживать бесперебойное обслуживание.
Google Cloud Storage – 5 ГБ
У Google есть Google Drive для обычно потребителя и Google Cloud Storage для разработчиков. В отличие от Google Drive, где вы получаете 15 ГБ бесплатно с Google Cloud Storage, вы получаете только 5 ГБ.
Разработка GCP опирается на высокие технологии, такие как ИИ и машинное обучение, анализ данных и другие передовые технологии. GCP предоставляет полную среду для создания AI, ML и других подобных продуктов. Живая миграция выделяет GCP, поскольку другие облачные провайдеры не предлагают такой функции. В GCP вы можете перенести виртуальную машину на другой хост без остановки и перезагрузки. Таким образом, ваша служба будет работать непрерывно, даже если требуются какие-либо обновления.
Azure Blob Storage – 5 ГБ
Azure - компания облачных сервисов Microsoft. Вы можете быть удивлены, почему он называется Blob Storage. Blob означает большой двоичный объект и представляет собой набор двоичных данных, хранящихся в базе данных как один объект.
В Azure вы можете запустить рабочий стол Windows с остальными вашими любимыми продуктами Microsoft - Windows Server, Office и другими. Microsoft Azure очень хорошо подходит для создания масштабируемых и безопасных гибридных облаков. Гибридное облако сочетает в себе функции общедоступного облака и частного облака, легко интегрируя внутреннюю инфраструктуру с общедоступными ресурсами.
Object Storage Service (Alibaba Cloud) - 5 ГБ
Alibaba – азиатский Amazon, и у Alibaba также есть собственная компания облачных сервисов под названием Alibaba Cloud. Их предложение находится на одном уровне со всеми облачными хранилищами. Но, возможно, в ближайшие годы они станут более известными, поскольку будут продолжать добавлять больше дата-центров по всему миру.
Поставщик уделяет большое внимание обслуживанию предприятий и малого и среднего бизнеса в Китае, что делает его предпочтительным выбором для компаний или филиалов, расположенных в Китае и азиатском регионе.
Несмотря на то, что список облачных сервисов Alibaba далеко не похож на список сервисов AWS, он быстро пополняется десятками доступных продуктов и не только. Кроме того, Alibaba активно инвестирует в разработку передовых облачных инструментов и платформ, таких как AI, машинное обучение и большие данные.
Частый сценарий: новый сервер, на котором проводятся отладочные работы и требуется быстро подключиться по SSH. Обычно, сначала необходимо авторизоваться под админом, и только затем переключиться на root пользователя. В это статье мы расскажем, как сделать так, чтобы можно было подключаться под root сразу, минуя аутентификацию под admin.
Важно! Мы рекомендуем выставлять данную настройку только на время пуско – наладочных работ. После вывода сервера в продакшн, рекомендуем вернуть 2х ступенчатую авторизацию в целях безопасности.
Настройка
Итак, подключитесь к серверу под root и откройте для редактирования файл /etc/ssh/sshd_config:
vim /etc/ssh/sshd_config
Далее, найдите существующий параметр PermitRootLogin, либо, если его нет, создайте его вручную. Данный параметр также может быть закомментирован символом решетки # - если это так, то нужно будет раскомментировать эту строку удалив символ #.
В итоге, в настройках файла /etc/ssh/sshd_config и у вас должна быть строка PermitRootLogin yes - то есть должно быть отмечено значение yes (разрешено подключение под root):
# Authentication:
#LoginGraceTime 2m
PermitRootLogin yes
Сохраняем изменения в файле /etc/ssh/sshd_config. Если вы открыли файл через vim (как показано в нашем примере), то укажите комбинацию ниже с клавиатуры и нажмите Enter:
:x!
Теперь осталось только перезагрузить SSH сервер:
service sshd restart
Готово!
В одной из статей мы рассказывали Вам, что такое Hadoop и с чем его едят. В этой статье мы подробно разберем, как развернуть кластер Hadoop с помощью сборки Cloudera.
Почему Cloudera?
Почему мы выбрали именно этот дистрибутив? Дело в том, что на текущий момент он является самым популярным и широко распространенным набором инструментов для работы с большими объемами данных. Кроме того, данный дистрибутив имеет в составе такое решение как Cloudera Manager этот инструмент позволяет без лишних телодвижений развернуть новый кластер, а также осуществлять управление и наблюдение за его состоянием.
Стоит отметить, что распространение элементов данной сборки осуществляется в виде так называемых парселов пакетов информации в бинарной кодировке. Преимуществами такого решения являются упрощенная загрузка, взаимная согласованность компонентов, возможность единовременной активации всех необходимых установленных элементов, текущие (не кардинальные) обновления без прерывания рабочего процесса, а также простота восстановления после возникновения неполадок.
Также важно представлять, для каких целей Вы будете использовать кластеры Hadoop. Это связано с тем, что для выполнения различных задач Вам потребуются разные варианты по аппаратной мощности. Как правило, конфигурации, используемые для хранения данных, имеют повышенную мощность, а значит, и более высокую стоимость.
Требования к железу
Проработав вопросы с железом, нужно подготовить для развертки кластера программную часть. Для установки и работы потребуется любая система на основе Ubuntu, а также популярными вариантами являются различные версии CentOS, RHEL и Debian. Эти сборки находятся в открытом доступе на сайте разработчика, поэтому с подготовкой сложностей возникнуть не должно.
При установке на серверах будущего кластера при разбивке дисков стоит выделять около 70Гб под программную часть, около 1Гб для внутреннего участка памяти для выгрузки данных из кэша, остальную емкость можно оставить непосредственно для хранения данных.
Установка
Подготовив почву для установки, можно приступать непосредственно к процессу. Проверив соединение с серверами, их доступность и синхронизацию, а так же имеют одинаковые пароли root, а так же убедившись, что все сервера имеют доступ к сайту разработчика для обновления программной части, можно устанавливать непосредственно Cloudera Manager. Далее наше участие в процессе установки будет минимальным программа сама установит все необходимые компоненты. По ее завершению, можно запускать стандартную базу данных, и собственно саму программу.
Далее приступим к, собственно, развертыванию кластера. Это удобнее делать через веб-интерфейс. В строку браузера вводим адрес сервера, затем войдем в систему по умолчанию логин и пароль admin и admin разумеется, первым делом меняем пароли.
Далее выбираем версию дистрибутива. Есть бесплатный вариант с ограниченным функционалом, 60-дневная пробная версия и платная лицензия, предоставляющая наиболее полный набор функций, включая поддержку от производителя. При выборе базовой бесплатной версии можно будет в будущем активировать любую из оставшихся. Это актуально в случае, если программа Вам понравится, и вы приобретете базовые навыки работы с кластером.
В процессе установки Cloudera Manager устанавливает соединение с серверами, входящими в кластер. По умолчанию используется root и одинаковое имя пользователя, поэтому важно чтобы пароли root на всех серверах были одинаковы.
Следующим шагом станет указание хостов, куда будут устанавливаться рабочие элементы Hadoop, а также проверим, все ли сделано верно, и нет ли потерь. Затем выберем репозиторий, из которого будут скачиваться данные для установки, а также выберем вариант с использованием парселов, как и рекомендуется. Можно еще выбрать установку дополнительных инструментов актуальных версий поисковика SOLR и базы данных на основе Impala. Вводим параметры доступа по SSH и запускаем процесс установки.
По окончании установки получаем отчет о всех установленных элементах и их актуальных версиях, после его изучения переходим к следующему этапу выбору вариантов установки дополнительных компонентов Hadoop. Начинающим специалистам рекомендуется выбирать полную установку со временем конфигурацию программных инструментов можно будет менять, удаляя неиспользуемые компоненты и добавляя необходимые. Также программа установки предложит выбрать, какие элементы будут установлены на серверах. Если все сделано правильно вариант "по умолчанию" будет наилучшим выбором.
Далее нас ждет этап настройки базы данных. Настраиваем базу по умолчанию, либо выбираем альтернативный вариант, а также обязательно проверяем, как она работает. После этого настраиваем отдельные элементы в составе нашего кластера и запускаем процесс настройки по выбранным параметрам. По завершению настройки можно переходить к экрану мониторинга кластера, куда выводятся все данные по входящим в кластер серверам.