По вашему запросу ничего не найдено :(
Убедитесь, что запрос написан правильно, или посмотрите другие
наши статьи:
Про хоботистый проект, который изменил многое
Интернет, на текущее время, это непрерывно развивающаяся сеть планетарного масштаба. Ее существование невозможно представить без поисковых программ и социальных сетей. Большинство пользователей интернета, ежедневно заходящих в Facebook или ищущих информацию в Yahoo, даже не задумываются, как работает эта система то есть, контактируют только с пользовательским интерфейсом программы. И мало кто знает, что продукты такого типа работают на основе распределенных программам. Их работа основана на кластерах наборах узлов, которые используются для поиска нужной клиенту информации. И одним из основных наборов инструментов, который используется при разработке такого рода программ, является Hadoop.
Что же это такое? Как говорилось выше, это не отдельная программа, а целый набор инструментов, библиотек и приложений, а также инструмент для удобной работы с ними. Для удобства, назовем весь этот комплекс "фреймворком". Всё это предназначено для разработки и использования распределенных программ. В этой статье мы разберемся, из чего состоит основной инструментарий Hadoop и упомянем о самых распространенных программах из набора.
Строго говоря, разработчиком Hadoop является компания Apache Software Foundation. Однако, в силу того, что данный набор программ является свободно распространяемым, ряд сторонних разработчиков (Hortonworks, MapR, Cloudera) создали на основе Apache Hadoopряд своих сборок, которые завоевали у пользователей большую популярность. Это произошло потому, что такие сборки гораздо стабильнее ведут себя в работе и гораздо удобнее в использовании.
Основной базовой частью Hadoop является распределенная файловая система HDFS. От обычных файловых систем ее отличает то, что хранение и работа с файловыми дескрипторами осуществляется с отдельного сервера имён, а данные находятся на отдельных серверах данных. Это делает систему исключительно надежной, поскольку даже при внештатных ситуациях процент безвозвратной потери данных очень мал. Кроме того, система позволяет узнать, на какой конкретной машине расположен интересующий блок данных.
Пару слов о движках: Развитие проекта привело к тому, что классическая схема MapReduce, с которой проект начинал свою работу, сейчас заменяется на варианты Spark или Tez, поскольку значительно ускоряют работу с данными. Spark более универсальная модель движка, применяемая повсеместно, Tez в свою очередь более узко специализирован.
К наиболее популярным системам управления базами данных в данном решении можно отнести базовый вариант Hive, а также альтернативные варианты, такие как Impala от Cloudera, или Spark SQL. Данные продукты имеют свои достоинства и недостатки, но возможность выбора лучшего решения делает проект в общем и целом достаточно гибким и удобным для пользования.
Свою нишу в данном проекте также имеет отдельная NoSQL-база Hbase. Это важное решение для всей системы Hadoop, поскольку эффективно поддерживает работу с отдельными записями в режиме реального времени.
Для импорта данных на текущий момент, пожалуй, единственным эффективным вариантом остается Kafka от оригинального разработчика Apache. Уникальность данного решения в том, что импорт серьезных объемов данных в данном случае заложен в саму архитектуру проекта. Конечно, Kafka обладает рядом минусов, но работы над обновлением и оптимизацией ведутся постоянно.
Помимо этого набора программ, который можно считать базовым, Hadoop обладает рядом других полезных инструментов. Это и алгоритмы машинного обучения для оптимизации работы всей системы (MLlib, Mahout), и программа-координатор ZooKeeper, обладающая широчайшими возможностями по конфигурированию и управлению, программы для планирования задач в проектах Azkaban и Oozie, а так же многие другие подключаемые модули различного назначения и, соответственно, различной полезности в рамках того или иного проекта.
У нас есть Windows Server 2008 R2 и сейчас мы сделаем из него Контроллер домена - Domain Controller (DC). Погнали!
Первым делом – запускаем Server Manager:
Затем выбираем опцию Roles и добавляем новую роль для нашего сервера, нажав Add Roles:
Нас встречает мастер установки ролей, а также просят убедиться, что учетная запись администратора имеет устойчивый пароль, сетевые параметры сконфигурированы и установлены последние обновления безопасности. Прочитав уведомление кликаем Next
Сервер, выступающий в роли DC обязан иметь статический IP адрес и настройки DNS Если данные настройки не были выполнены заранее, то нас попросят выполнить их в дальнейшем на одном из этапов.
В списке доступных ролей выбираем Active Directory Domain Services. Мастер сообщает, что для установки данной роли нужно предварительно выполнить установку Microsoft .NET Framework. Соглашаемся с установкой, нажав Add Required Features и кликаем Next
Нас знакомят с возможностями устанавливаемой роли Active Directory Domain Services (AD DS) и дают некоторые рекомендации. Например, рекомендуется установить, как минимум 2 сервера с ролями AD DS (т.е сделать 2 DC) на случай, чтобы при выходе из строя одного сервера, пользователи домена все ещё могли бы залогиниться с помощью другого. Также, нас предупреждают о том, что в сети должен быть настроен DNS сервер, а если его нет, то данному серверу нужно будет дать дополнительную роль – DNS. После того, как прочитали все рекомендации, кликаем Next чтобы продолжить установку.
Наконец, нам предоставляют сводную информацию об устанавливаемой роли и дополнительных компонентах для подтверждения. В данном случае, нас уведомляют о том, что будет установлена роль AD DS и компонент .NET Framework 3.5.1. Для подтверждения установки кликаем Install.
Дожидаемся пока завершится процесс установки роли и компонентов.
Через какое-то время перед нами появится результат установки, он должен быть успешным как для роли так и для компонентов Installation succeeded. Закрываем мастер установки, нажав Close.
Вернувшись в Server Manager мы увидим, что у нас появилась роль AD DS, однако ее статус неактивен. Чтобы продолжить настройку кликаем на Active Directory Domain Services.
Перед нами открывается уведомление о том, что наш сервер пока ещё не является контроллером домена, и чтобы это исправить нам следует запустить мастер настройки AD DS (dcpromo.exe). Кликаем на ссылку Run the Active Directory Domain Services Installation Wizard или же запускаем его через Пуск – Выполнить – dcpromo.exe.
Перед нами открывается мастер настройки AD DS. Расширенный режим установки можно не включать. Для продолжения кликаем Next
Нас встречает уведомление о том, что приложения и SMB клиенты, которые используют старые небезопасные криптографические алгоритмы Windows NT 4.0 при установке соединений, могут не заработать при взаимодействии с контроллерами домена на базе Windows Server 2008 и 2008 R2, поскольку по умолчанию, они не разрешают работу по данным алгоритмам. Принимаем данную информацию к сведению и кликаем Next
Далее нам нужно выбрать принадлежность данного контроллера домена. Если бы у нас уже имелся лес доменов, то данный DC можно было бы добавить туда, либо добавив его в существующий домен, либо же создав новый домен в существующем лесу доменов. Поскольку мы создаем контроллер домена с нуля, то на следующей вкладке мы выбираем создание нового домена и нового леса доменов Create a new domain in a new forest и кликаем Next.
После этого нам предлагают задать FQDN корневого домена нового леса. В нашем случае мы выбрали merionet.loc. Сервер проверит свободно ли данное имя и продолжит установку, нажимаем Next.
Далее задаем функциональный уровень леса доменов. В нашем случае - Windows Server 2008 R2 и кликаем Next.
Обратите внимание, что после задания функционального уровня, в данный лес можно будет добавлять только DC равные или выше выбранного уровня. В нашем случае от Windows Server 2008 R2 и выше.
Далее, нам предлагают выбрать дополнительные опции для данного DC. Выберем DNS Server и нажимаем Next.
В случае, если ваш сервер ещё не имеет статического IP адреса, перед вами появится следующее предупреждение с требованием установить статический IP адрес и адрес DNS сервера. Выбираем No, I will assign static IP addresses to all physical network adapters
Устанавливаем статические настройки IP адреса и DNS. В нашем случае – в роли DNS сервера выступает дефолтный маршрутизатор (Default Gateway) нашей тестовой сети.
Далее, установщик предлагает нам выбрать путь, по которому будут храниться база данных Active Directory, лог-файл и папка SYSVOL, которая содержит критичные файлы домена, такие как параметры групповой политики, сценарии аутентификации и т.п. Данные папки будут доступны каждому DC в целях репликации. Мы оставим пути по умолчанию, но для лучшей производительности и возможности восстановления, базу данных и лог-файлы лучше хранить в разных местах. Кликаем Next.
Далее нас просят указать пароль учетной записи администратора для восстановления базы данных Active Directory. Пароль данной УЗ должен отличаться от пароля администратора домена. После установки надежного сложного пароля кликаем Next.
Далее нам выводят сводную информацию о выполненных нами настройках. Проверяем, что все корректно и кликаем Next.
Мастер настройки приступит к конфигурации Active Directory Domain Services. Поставим галочку Reboot on completion, чтобы сервер перезагрузился по завершении конфигурирования.
После перезагрузки сервер попросит нас залогиниться уже как администратора домена MERIONET.
Поздравляем, Вы создали домен и контроллер домена! В следующей статье мы наполним домен пользователями и позволим им логиниться под доменными учетными записями.
Роутеры MikroTik имеют множество полезных функций для траблшутинга проблем. Одной из таких утилит является возможность создания supout.rif файла.
Supout.rif - это файл, который содержит всю конфигурацию вашего роутера, а также логи и другую полезную информацию об устройстве. Возможность создания данного файла задумывалась командой MikroTik как быстрый способ информации получения всей необходимой информации о роутере в рамках работ по оказанию технической поддержки. Дабы не нагружать пользователя просьбами выгружать сначала конфигурацию, потом снимать логи, а просто попросить выгрузить Support.rif и начать исследовать проблему.
При этом, пользователь может не переживать за то, что его пароли из утекут на третью сторону, так как все пароли в файле supout.rif шифруются.
Итак, чтобы создать данный файл через WinBox, нужно просто нажать на кнопку Make Supout.rif, затем Start и дождаться пока завершится процесс генерации.
Теперь, чтобы скачать его, просто открываем Files, ищем support.rif, нажимаем на него правой кнопкой и выбираем Download.
Чтобы сгенерировать этот файл из командной строки, вводим в Terminal:
/system sup-output name=supout.rif. Далее можно скачать его по FTP или отправить на другой хост.
Но текстовым редактором данный файл мы открыть не сможем. Для того, чтобы его прочитать в команде MikroTik придумали инструмент Supout.rif viewer. Чтобы им воспользоваться, необходимо зарегистрироваться на сайте MikroTik.com, залогиниться в свой аккаунт, перейти в раздел Support и найти там Supout.rif viewer.
Далее нужно просто загрузить сгенерированный файл в открывшейся форме. После этого перед вами откроется список из 46 пунктов, нажав на которые вы сможете посмотреть соответствующую информацию.
Правила firewall, настройки маршрутизации, лог устройства, в общем все что здесь есть - все это есть. Например, в разделе export содержится вся текущая конфигурация.
Очень удобный инструмент, который пригодится любому, кто администрирует роутеры MikroTik.