По вашему запросу ничего не найдено :(
Убедитесь, что запрос написан правильно, или посмотрите другие
наши статьи:
Про хоботистый проект, который изменил многое
Интернет, на текущее время, это непрерывно развивающаяся сеть планетарного масштаба. Ее существование невозможно представить без поисковых программ и социальных сетей. Большинство пользователей интернета, ежедневно заходящих в Facebook или ищущих информацию в Yahoo, даже не задумываются, как работает эта система то есть, контактируют только с пользовательским интерфейсом программы. И мало кто знает, что продукты такого типа работают на основе распределенных программам. Их работа основана на кластерах наборах узлов, которые используются для поиска нужной клиенту информации. И одним из основных наборов инструментов, который используется при разработке такого рода программ, является Hadoop.
Что же это такое? Как говорилось выше, это не отдельная программа, а целый набор инструментов, библиотек и приложений, а также инструмент для удобной работы с ними. Для удобства, назовем весь этот комплекс "фреймворком". Всё это предназначено для разработки и использования распределенных программ. В этой статье мы разберемся, из чего состоит основной инструментарий Hadoop и упомянем о самых распространенных программах из набора.
Строго говоря, разработчиком Hadoop является компания Apache Software Foundation. Однако, в силу того, что данный набор программ является свободно распространяемым, ряд сторонних разработчиков (Hortonworks, MapR, Cloudera) создали на основе Apache Hadoopряд своих сборок, которые завоевали у пользователей большую популярность. Это произошло потому, что такие сборки гораздо стабильнее ведут себя в работе и гораздо удобнее в использовании.
Основной базовой частью Hadoop является распределенная файловая система HDFS. От обычных файловых систем ее отличает то, что хранение и работа с файловыми дескрипторами осуществляется с отдельного сервера имён, а данные находятся на отдельных серверах данных. Это делает систему исключительно надежной, поскольку даже при внештатных ситуациях процент безвозвратной потери данных очень мал. Кроме того, система позволяет узнать, на какой конкретной машине расположен интересующий блок данных.
Пару слов о движках: Развитие проекта привело к тому, что классическая схема MapReduce, с которой проект начинал свою работу, сейчас заменяется на варианты Spark или Tez, поскольку значительно ускоряют работу с данными. Spark более универсальная модель движка, применяемая повсеместно, Tez в свою очередь более узко специализирован.
К наиболее популярным системам управления базами данных в данном решении можно отнести базовый вариант Hive, а также альтернативные варианты, такие как Impala от Cloudera, или Spark SQL. Данные продукты имеют свои достоинства и недостатки, но возможность выбора лучшего решения делает проект в общем и целом достаточно гибким и удобным для пользования.
Свою нишу в данном проекте также имеет отдельная NoSQL-база Hbase. Это важное решение для всей системы Hadoop, поскольку эффективно поддерживает работу с отдельными записями в режиме реального времени.
Для импорта данных на текущий момент, пожалуй, единственным эффективным вариантом остается Kafka от оригинального разработчика Apache. Уникальность данного решения в том, что импорт серьезных объемов данных в данном случае заложен в саму архитектуру проекта. Конечно, Kafka обладает рядом минусов, но работы над обновлением и оптимизацией ведутся постоянно.
Помимо этого набора программ, который можно считать базовым, Hadoop обладает рядом других полезных инструментов. Это и алгоритмы машинного обучения для оптимизации работы всей системы (MLlib, Mahout), и программа-координатор ZooKeeper, обладающая широчайшими возможностями по конфигурированию и управлению, программы для планирования задач в проектах Azkaban и Oozie, а так же многие другие подключаемые модули различного назначения и, соответственно, различной полезности в рамках того или иного проекта.
Оболочка bash предлагает широкий выбор сочетаний клавиш, которые вы можете использовать. Они будут работать в bash в любой операционной системе.
Работа с процессами
Используйте следующие сочетания клавиш для управления запущенными процессами:
Ctrl + C: прервать (убить) текущий процесс, запущенный в терминале на переднем плане. Это посылает процессу сигнал SIGINT, который технически является просто запросом - большинство процессов его учтут, но некоторые могут и проигнорировать.
Ctrl + Z: приостановить текущий процесс, запущенный в bash на переднем плане. Это отправляет процессу сигнал SIGTSTP. Чтобы позже вернуть процесс на передний план, используйте команду fg имя_процесса.
Ctrl + D: закрыть оболочку bash. Это отправляет маркер EOF (End of file - конец файла) в bash, и bash завершает работу, когда получает этот маркер. Это похоже на команду exit.
Перемещение курсора
Используйте следующие сочетания клавиш, чтобы быстро перемещать курсор по текущей строке при вводе команды.
Ctrl + A или Home: перейти к началу строки.
Ctrl + E или End: перейти в конец строки.
Alt + B: перейти на одно слово влево (назад).
Ctrl + B: перейти на один символ влево (назад).
Alt + F: перейти вправо (вперед) на одно слово.
Ctrl + F: перейти вправо (вперед) на один символ.
Ctrl + XX: перемещение между началом строки и текущей позицией курсора. То есть можно нажать Ctrl + XX, чтобы вернуться в начало строки, что-то изменить, а затем нажать Ctrl + XX, чтобы вернуться в исходную позицию
курсора. Чтобы использовать этот шорткат, удерживайте клавишу Ctrl и дважды нажмите X.
Исправление опечаток
Эти сочетания позволяют исправлять опечатки и отменять нажатия клавиш.
Alt + T: заменить текущее слово предыдущим.
Ctrl + T: поменять местами два последних символа перед курсором. Можно использовать, чтобы быстро исправить опечатки, когда вы вводите два символа в неправильном порядке.
Ctrl + _: отменить последнее нажатие клавиши. Можно использовать несколько раз подряд.
Вырезка и склейка
Bash включает в себя несколько основных функций вырезания и вставки.
Ctrl + W: вырезать слово перед курсором и добавить его в буфер обмена.
Ctrl + K: вырезать часть строки после курсора, добавив ее в буфер обмена.
Ctrl + U: вырезать часть строки перед курсором, добавив ее в буфер обмена.
Ctrl + Y: вставить последнее вырезанное из буфера обмена.
Заглавные буквы
Оболочка bash может быстро преобразовывать символы в верхний или нижний регистр:
Alt + U: вводить каждый символ от курсора до конца текущего слова с заглавной буквы, переводя символы в верхний регистр.
Alt + L: убирает заглавные буквы с каждого символа от курсора до конца текущего слова, переводя символы в нижний регистр.
Alt + C: ввести заглавную букву под курсором. Ваш курсор переместится в конец текущего слова.
Табуляция
Завершение при помощи табуляции - очень полезная функция bash. При вводе имени файла, каталога или команды нажмите Tab, и bash автоматически завершит ввод, если это возможно. Если нет, bash покажет вам различные возможные совпадения, и вы
можете продолжить вводить и нажимать Tab, чтобы закончить ввод.
Tab: автоматическое заполнение файла, каталога или команды, которую вы вводите.
Например, если у вас есть файл с длинным именем really_long_file_name в /home/alex/ и это единственное имя файла, начинающееся с r в этом каталоге, вы можете ввести /home/alex/r, нажать Tab,
и bash автоматически заполнит /home/alex/really_long_file_name для вас. Если у вас есть несколько файлов или каталогов, начинающихся с r, bash проинформирует вас о доступных вариантах. Вы можете начать вводить один из них
и нажать Tab, чтобы продолжить.
Работа с историей команд
Вы можете быстро просмотреть свои недавние команды, которые хранятся в файле истории bash вашей учетной записи:
Ctrl + P или стрелка вверх: переход к предыдущей команде в истории команд. Нажмите ярлык несколько раз, чтобы вернуться к истории.
Ctrl + N или стрелка вниз: переход к следующей команде в истории команд. Нажмите ярлык несколько раз, чтобы перейти вперед по истории.
Alt + R: отменить любые изменения команды, извлеченной из истории, если вы ее редактировали.
В Bash также есть специальный режим поиска, который вы можете использовать для поиска ранее выполненных команд:
Ctrl + R: вспомнить последнюю команду, соответствующую указанным вами символам. Нажмите это сочетание и начните вводить символы для поиска команды в истории bash.
Ctrl + O: запустите найденную команду с помощью Ctrl + R.
Ctrl + G: выйти из режима поиска в истории без выполнения команды.
Доброго времени суток, уважаемый читатель! Сегодня постараемся дать ответ на очень частый у системных администраторов вопрос: как выбрать правильный VoIP шлюз для подключения Asterisk? Какой нужен шлюз для конкретной конфигурации и как выбрать между FXO, FXS, BRI и PRI. Разбираться будем на примере следующих сценариев:
Подключение IP – АТС Asterisk к ТфОП
На примере ISDN линии
Подключение через аналоговую линию
Подключение аналоговых устройств к Asterisk
Подключение обычной АТС и Asterisk к ISDN и аналоговой линии одновременно
Подключение обычной АТС к SIP - провайдеру
Подключение IP – АТС Asterisk к ТфОП
В данном примере у нас есть IP – АТС Asterisk и устойчивое желание подключить ее к ТфОП (Телефонная сеть общего пользования). Разберем два случая: подключение через ISDN и через обычный аналог.
На примере ISDN линии
Для начала разберемся с терминологией. ISDN (Integrated Services Digital Network) – цифровая сеть с интеграцией услуг (позволяет использование телефон, факса, обмен данными и прочие) имеет два типа подключения: BRI и PRI:
PRI (primary rate interface) – интерфейс первичного уровня. В России и Европе представлен потоком Е1, который имеет 32 канала, в котором 30 отведены на передачу голосу, а 2 остальных это сигнальные каналы. В России Е1 так же именуется ИКМ-30 (импульсно – кодовая модуляция, 30 каналов передачи). В США данный тип называется Т1.
Для простоты, обозначим, что Е1 PRI позволяет совершать 30 одновременных вызовов.
BRI (basic rate interface) – интерфейс базовой скорости. Основное различие состоит в том, что BRI предоставляет всего 3 канала, 2 из которых предназначены для передачи данных со скоростью 64 кбит/с, а 3 канал существует для передачи сигнальной информации. Для более простого понимания, запомним, что BRI позволяет совершать 2 одновременных вызова.
На выбор того, или иного подключения может повлиять количество одновременных вызовов у вас в организации. Например, вы совершаете максимум 6 одновременных вызовов. В данном случае вам нужно 3 BRI линии, и, соответственно для подключения к ним 3 портовый BRI шлюз. В другом примере, если вы совершаете максимум 28 одновременных вызовов, то рассмотрите PRI линию и соответствующий к ней PRI шлюз.
Интерфейс ISDN образуется всегда образуется между двумя типами оборудования:
TE (Terminal Equipment) – терминальное оборудование пользователя. Это может быть компьютер, рабочая станция, телефонные аппараты, ISDN – совместимый маршрутизатор и прочее совместимое оборудование, которое может быть установлено у конечных пользователей.
NR (Network Termination) – так называемое «сетевое окончание». Это конец линии, который подключается в ISDN коммутатор, завершая канал связи.
Теперь, когда мы обладаем необходимым «бэкграундом» для понимания принципов работы ISDN, схематично изобразим подключение Asterisk к ISDN через шлюз:
Вот небольшой список неплохих E1 PRI шлюзов:
Модель
Количество портов Е1
Примерная стоимость
Dinstar MTG200-1E1
1
1000 USD
Sangoma A101 1xE1
1
1500 USD
Yeastar NeoGate TE100
1
1050 USD
Beronet 1xE1, Box
1
1700 USD
Подключение через аналоговую линию
При подключении IP – АТС Asterisk через аналоговую линию все весьма тривиально – вам нужен обычный FXO шлюз. Одна аналоговая линия позволяет совершать 1 одновременный вызов. Схема соединения приведена ниже:
Ниже небольшой список совместимых с Asterisk FXO – шлюзов:
Модель
Количество FXO портов
Примерная стоимость
Dinstar DAG1000-4O
4
180 USD
Yeastar Neogate TA410
4
200 USD
D-Link DVG-7111S
1
50 USD
Grandstream GXW-4104
4
250 USD
Подключение аналоговых устройств к Asterisk
Теперь давайте разберем вариант, когда необходимо подключить аналоговое устройство к IP – АТС Asterisk. Это может быть простой аналоговый телефон или, например, факс. В данной конфигурации вам нужен FXS шлюз. Подключение одного устройства осуществляется в один порт FXS шлюза. Схема подключения приведена ниже:
Если вы находитесь в состоянии выбора FXS – шлюза, то обратите внимание на эти модели:
Модель
Количество FXS портов
Примерная стоимость
Audiocodes MP-114, 4FXS
4
600 USD
Dinstar DAG1000-4S
4
150 USD
Grandstream HT-704
4
120 USD
Yeastar Neogate TA800
8
230 USD
Подключение обычной АТС и Asterisk к ISDN и аналоговой линии одновременно
Рассмотрим весьма интересный сценарий: в нашем корпоративном контуре существует обычная офисная АТС и IP –АТС на базе Asterisk. К ТфОП они подключены через ISDN линию по интерфейсу E1 PRI.
В данном случае необходимо осуществить подключение обычной АТС по Е1 потоку до PRI шлюза, а так же, подключить IP – АТС по протоколу SIP к этому же шлюзу. Изобразим наглядно на схеме:
Подходящие для этой конфигурации модели:
Модель
Количество E1 портов
Примерная стоимость
Dinstar MTG200-2E1
2
1500 USD
Beronet 4xE1, Box
4
4300 USD
Теперь взглянем на подключение обычной АТС и IP – АТС Asterisk через аналог. Нам понадобится шлюз, оснащенный FXS и FXO портами. Учтите, что аналоговая линия позволяет совершать только 1 одновременный вызов, поэтому, выберите шлюз с достаточном количеством портов. Схема работы будет следующая:
Ну и конечно оборудование:
Модель
Количество FXO портов
Количество FXS портов
Примерная стоимость
Audiocodes MP-114, 2FXO/2FXS
2
2
650 USD
Dinstar DAG1000-4S4O
4
4
300 USD
Dinstar DAG2000-8S8O
8
8
500 USD
Подключение обычной АТС к SIP - провайдеру
Итак, осталось с разобраться с подключением обычной офисной АТС к SIP – провайдеру. В данном случае мы будем выбирать лишь как подключить АТС к шлюзу: через ISDN(PRI или BRI) или через аналог. За шлюзом у нас будет осуществляться подключение через сеть интернет по протоколу SIP. Соответственно, нужно также принять решение, будет это PRI – шлюз, или FXS – шлюз. Схема подключения АТС к SIP провайдеру через Е1 поток приведена ниже:
И соответственно схема для подключения АТС через аналог до шлюза: