По вашему запросу ничего не найдено :(
Убедитесь, что запрос написан правильно, или посмотрите другие
наши статьи:
Давно прошли те времена, когда «база данных» представляла собой единую СУБД на основе реляционной модели данных, которую обычно устанавливали на самом мощном сервере в центре обработки данных. Такая база данных могла обслуживать все виду запросов – OLTP (On-Line Transaction Processing – обработка транзакций в режиме реального времени), OLAP (On-Line Analytical Processing – аналитическая обработка данных в режиме реального времени) – все, что нужно для бизнеса.
В настоящее время базы данных работают на самом обычном оборудовании, они также стали более сложными с точки зрения высокой доступности и более специализированными для обработки определенного типа трафика. Специализация позволяет добиться гораздо большей производительности баз данных – все оптимизировано для работы с определенным типом данных: оптимизатор, механизм хранения, даже язык может быть не SQL, как это бывает обычно. Он может быть основан на SQL с некоторыми расширениями, которые позволяют более эффективно манипулировать данными, или может быть чем-то абсолютно новым, созданным с нуля.
На сегодня мы имеем аналитические столбчатые базы данных, такие как ClickHouse или MariaDB AX, платформы обработки и анализа больших данных, такие как Hadoop, решения NoSQL, такие как MongoDB или Cassandra, хранилища данных типа «ключ-значение», такие как Redis. Мы также имеем базы данных временных рядов, такие как Prometheus или TimeScaleDB. Это именно то, на чем мы акцентируем внимание в данной статье. Базы данных временных рядов (Time Series Databases) – что это такое и зачем вам нужно еще одно хранилище данных в своей среде.
Для чего нужны базы данных временных рядов?
Как видно из названия, базы данных временных рядов предназначены для хранения данных, которые изменяются со временем. Это могут быть абсолютно любые данные, собранные с течением времени. Это могут быть метрические показатели, собранные из некоторых систем – все системы трендов являются примерами данных временных рядов.
Каждый раз, когда вы смотрите на информационные панели в ClusterControl, на самом деле вы видите визуальное представление временных рядов, хранящихся в Prometheus – базе данных временных рядов.
Временные ряды не ограничиваются метрическими показателями базы данных. Метриками может быть что угодно – изменение потока людей, входящих в торговый центр, с течением времени, изменение трафика в городе, использование общественного транспорта в течение дня, течение воды в реке или ручье, количество энергии, вырабатываемое водной установкой – все это и все остальное, что можно измерить во времени, является примером временных рядов. Такие данные можно запросить, построить, проанализировать, чтобы найти корреляционную зависимость между различными метриками.
Структура данных в базе данных временных рядов
Как вы понимаете, самая важная составляющая данных в базе данных временных рядов – это время. Существует два основных способа хранения данных. Первый способ чем-то похож на хранилище «ключ-значение» и выглядит так:
Метка времени
Метрика 1
2019-03-28 00:00:01
2356
2019-03-28 00:00:02
6874
2019-03-28 00:00:03
3245
2019-03-28 00:00:04
2340
Проще говоря, для каждой метки времени имеется некоторое значение метрики.
Второй способ подразумевает хранения большего числа показателей. Вместо того, чтобы хранить каждую метрику в отдельной таблице или коллекции, их можно хранить вместе.
Метка времени
Метрика 1
Метрика 2
Метрика 3
Метрика 4
Метрика 5
2019-03-28 00:00:01
765
873
124
98
0
2019-03-28 00:00:02
5876
765
872
7864
634
2019-03-28 00:00:03
234
7679
98
65
34
2019-03-28 00:00:04
345
3
598
0
7345
Такая структура данных, когда все метрики связаны, позволяет более эффективно запрашивать данные. Вместо того, чтобы читать несколько таблиц и объединять их для получения всех метрик, достаточно прочитать лишь одну единственную таблицу, чтобы подготовить данные к обработке и представлению.
У вас может возникнуть вопрос – что же здесь нового? Чем эта база данных отличается от обычной таблицы в MySQL или в любой другой реляционной базе данных? Да, действительно, конструкция таблиц очень похожа. Однако есть существенные различия в рабочей нагрузке, которые могут существенно повысить производительность, если хранилище данных предназначено для использования такого рода таблиц,
Временные ряды, как правило, только растут. Маловероятно, что вы будете обновлять старые данные. Чаще всего строки в таблице не удаляются, однако вам может понадобиться какая-то агрегация данных с течением времени. Если принять это при проектировании внутреннего устройства базы данных, то этот факт будет иметь существенное расхождение в сравнении со «стандартными» реляционными (и не реляционными) базами данных, предназначенными для обработки транзакций в режиме реального времени. Что здесь является наиболее важным, так это способность последовательно хранить большие объемы данных, поступающих со временем.
Можно, конечно, использовать РСУБД для хранения временных рядов, но она не оптимизирована для этого. Данные и индексы, сгенерированные на ее основе, могут стать слишком большими, и запросы будут проходить очень медленно. Механизмы хранения данных, используемые в СУБД, предназначены для хранения различных типов данных. Обычно они оптимизированы для рабочей нагрузки обработки транзакций в режиме реального времени, которая включает в себя частое изменение и удаление данных. В реляционных базах данных также часто отсутствуют специализированные функции и функции, предназначенные для обработки временных рядов. Мы уже упоминали, что вы вероятно столкнетесь с необходимостью агрегировать данные, полученные ранее какой-то временной метки. Вы также можете иметь возможность легко запускать некоторые статистические функции для ваших временных рядов, чтобы сглаживать их, определять и сравнивать тренды, интерполировать данные и многое другое. Здесь, например, вы можете найти некоторые функции, которые Prometheus предоставляет пользователям.
Примеры баз данных временных рядов
На рынке существует множество баз данных временных рядов, поэтому, естественно, что рассмотреть все мы не сможем. Но мы все же хотели привести несколько примеров баз данных временных рядов, которые, возможно, вам уже знакомы или которые вы уже, возможно, используете (сознательно или нет).
InfluxDB
InfluxDB была разработана компанией InfluxData. Это база данных временных рядов с открытым исходным кодом, написанная языке программирования Go. Хранилище данных позволяет вводить запросы данных на языке, подобном SQL, что позволяет разработчикам легко интегрировать эту базу данных в свои приложения. InfluxDB также может работать как часть коммерческого решения, которое охватывает весь стек, предназначенный для обеспечения процесса обработки данных временных рядов, полнофункциональной высоко доступной средой.
Prometheus
Prometheus – это еще один проект с отрытым исходным кодом, который также написан на языке программирования Go. Он обычно используется в качестве серверной части для различных инструментов и проектов с открытым исходным кодом, например, Percona Monitoring and Management. Prometheus также является наилучшим вариантом для ClusterControl.
Prometheus можно развернуть из ClusterControl с целью хранения данных временных рядов, собранных на серверах баз данных, контролируемых и управляемых ClusterControl:
Prometheus широко используется в мире Open Source, поэтому его довольно легко интегрировать в уже существующую среду с помощью нескольких экспортеров.
RRDtool
Это один из примеров базы данных временных рядов, которую многие используют, даже не подозревая об этом. RRDtool – это достаточно популярный проект с открытым исходным кодом для хранения и визуализации временных рядов. Если вы хоть раз использовали Cacti, то и RRDtool вы тоже использовали. Если вы разработали свое собственное решение, вполне вероятно, что и здесь вы тоже использовали RRDtool в качестве серверной части для хранения данных. Сейчас RRDtool, возможно, не так популярен, как это было в 2000-2010 годах. В те годы это был самый распространенный способ хранения временных рядов. Забавный факт – ранние версии ClusterControl использовали именно RRDtool.
TimeScale
TineScale – это база данных временных рядов, разработанная на основе PostgreSQL. Это расширение для PostgreSQL, которое использует основное хранилище данных для предоставления доступа к ним, что означает, что оно поддерживает все разновидности SQL, доступные для использования. Поскольку это расширение, то оно использует все функции и расширения PostgreSQL. Вы можете совмещать временные ряды с другими типами данных, например, объединять временные ряды с метаданными, пополняя информацией выходные данные. Вы также можете выполнить более сложную фильтрацию, используя JOIN и таблицы без временных рядов. Геоинформационное обеспечение в PostgreSQL TimeScale можно использовать для отслеживания географических местоположений с течением времени, а также использовать все возможности масштабирования, предлагаемые PostgreSQL, включая репликацию.
Timestream
Amazon Web Services также предлагает базы данных временных рядов. О Timestream было объявлено совсем недавно, в ноябре 2018 года. Она добавляет еще одно хранилище данных в портфель AWS, помогая пользователям обрабатывать временные ряды, поступающие из таких источников, как устройства Интернет вещей или отслеживаемые сервисы. Его также можно использовать для хранения метрических данных, полученных из журналов, созданных несколькими службами. Это позволяет пользователям выполнять аналитические запросы к ним, помогая понять закономерности и условия, в которых работают службы.
Tiemstream, как и большинство сервисов AWS, обеспечивает простой способ масштабирования в случае, если с течением времени возрастает потребность в хранении и анализе данных.
Как видите, вариантов баз данных временных рядов на рынке множество, и это не удивительно. В последнее время, все более популярным становится анализ временных рядов, поскольку он становится все более важных для различных бизнес-операций. К счастью, есть большое количество проектов как с открытым кодом, так и коммерческих. И с большой долей вероятности вы сможете найти инструмент, который полностью удовлетворит ваши потребности.
В этом руководстве мы расскажем, как установить KVM и как его использовать, чтобы создать виртуальные машины с такими дистрибутивами как RHEL, CentOS 7 и Fedora 21, основанными на RedHat.
Что такое KVM?
KVM (Kernel-based Virtual Machine) – это решение для полной виртуализации для Linux на оборудовании Intel 64 и AMD 64, которое включено в основное ядро Linux, начиная с версии 2.6.20. Аппаратные средства работают быстро и стабильно даже при больших нагрузках.
Функции KVM
KVM обладает большим количеством преимуществ и полезных функций, которые окажутся в Вашем распоряжении, если для установки виртуальной платформы Вы выберете данное программное обеспечение.
Гипервизор KVM поддерживает следующие функции:
Over-committing – с помощью этой функции можно обеспечить направление большего количества средств центрального процессора и памяти, чем доступно в системе.
Thin provisioning – функция позволяет выделить гибкое хранилище и оптимизирует доступное пространство для каждой гостевой виртуальной машины.
Disk I/O throttling – функция предоставляет возможность установить ограничение на запросы ввода-вывода диска, отправляемые с виртуальных машин на хост.
Automatic NUMA balancing – функция улучшает работу приложений на аппаратных решениях NUMA.
Virtual CPU hot add capability – данная функция предоставляет возможность увеличить процессорную память настолько, насколько это нужно работающей ВМ без простоев.
Подготовительная работа
Убедитесь, что Ваша система имеет расширение аппаратной виртуализации. Для хостов на базе Intel ЦП должен поддерживать расширение виртуализации [vmx]. Чтобы проверить наличие расширения, используйте следующую команду:
# grep -e 'vmx' /proc/cpuinfo
Для хостов на базе AMD ЦП поддерживает расширение виртуализации [svm]:
# grep -e 'svm' /proc/cpuinfo
Если вывод отсутствует, убедитесь, что в BIOS включена опция расширения виртуализации. Убедитесь, что модули KVM загружены в ядро (это должно быть загружено по умолчанию).
# lsmod | grep kvm
Вывод должен содержать kvm_intel для хостов на базе Intel и kvm_amd – на базе AMD.
Вам также потребуются доступ уровня root или пользователь с sudo привилегиями, настроенными на Вашу систему. Также убедитесь, что Ваша система обновлена.
# yum update
Убедитесь, что Selinux в режиме Permissive.
# setenforce 0
Шаг 1: Установка KVM
Сначала мы установим пакеты qemu-kvm и qemu-img. Эти пакеты предоставляют KVM и image manager доступ на уровне пользователя.
# yum install qemu-kvm qemu-img
Теперь у Вас есть минимум требований, чтобы установить виртуальную платформу на вашем хосте. Но есть ещё полезные приложения, которые помогают в администрировании платформой:
virt-manager (менеджер управления виртуальными машинами) предоставляет GUI-конструктор для управления виртуальными машинами.
libvirt-client предоставляет инструмент CL для управления вашей виртуальной средой. Такая утилита называется virsh.
С помощью команды virt-install, которую предоставляет программа virt-install, Вы можете создать виртуальную машину, используя CLI (интерфейс командной строки).
С помощью библиотеки libvirt сервер и хост могут взаимодействовать с гипервизорами и хост-системами.
Давайте установим эти инструменты с помощью следующей команды:
# yum install virt-manager libvirt libvirt-python libvirt-client
Для пользователей RHEL/CentOS7 также есть дополнительные группы пакетов, которые можно установить, например: Virtualization Client, Virtualization Platform и Virtualization Tools
#yum groupinstall virtualization-client virtualization-platform virtualization-tools
Демоном виртуализации, который управляет платформой, является libvirtd. Давайте перезапустим его.
#systemctl restart libvirtd
После того, как Вы перезапустили демона, проверьте его статус с помощью следующей команды:
#systemctl status libvirtd
Пример вывода
libvirtd.service - Virtualization daemon
Loaded: loaded (/usr/lib/systemd/system/libvirtd.service; enabled)
Active: active (running) since Mon 2014-12-29 15:48:46 EET; 14s ago
Main PID: 25701 (libvirtd)
Теперь давайте перейдем к следующему разделу и создадим виртуальную машину.
Шаг 2: Создание ВМ с помощью KVM
Так как мы установили несколько полезных приложений для управления виртуальными платформами и создания виртуальных машин, одно из них –virt-manager – нам сейчас понадобится.
Несмотря на то, что virt-manager является инструментом, основанным на графическом интерфейсе пользователя, из терминала мы можем запускать его так же, как и из GUI.
#virt-manager
GNOME
GNOME Classic
После того, как Вы запустите приложение, появится такое окно.
По умолчанию менеджер напрямую подключен к localhost. Но Вы можете использовать тот же инструмент, чтобы выбрать другой хост удаленно. Из вкладки File выберите Add Connection и появится следующее окно.
Поставьте галочку на Connect to remote host и впишите название или IP (Hostname) удаленного сервера. Если Вам нужно устанавливать соединение с удаленным сервером каждый раз, когда запускается менеджер, то поставьте галочку на Auto Connect.
Давайте вернемся к localhost. Прежде чем создавать виртуальную машину, Вы должны решить, где будут храниться файлы. Другими словами, Вам необходимо создать том (виртуальный диск) для вашей виртуальной машины. Правой кнопкой мыши нажмите на localhost и выберите Details, а затем перейдите на вкладку Storage.
Затем нажмите кнопку New Volume (Новый том) и введите название вашего нового виртуального диска (тома). В графу Max Capacity (Максимальная ёмкость) введите требующийся вам объем диска.
Выбранный объем является реальным объемом Вашего диска, который сразу будет предоставлен с Вашего физического диска после завершения установки.
Примечание: технология в области администрирования хранилищ называется thin provision (Тонкое обеспечение). Она используется для выделения только используемого объема хранилища, а не всего доступного объема. Например, Вы создали виртуальный диск размером 60 Гб, но используемого объема у Вас только 20 Гб. С помощью данной технологии жёсткий диск предоставит Вам только 20 Гб, а не 60.
Другими словами, выделенный физический объем будет динамически распределяться в зависимости от фактического используемого объема.
Знак нового диска появится в списке.
Найти Ваш новый виртуальный диск Вы сможете по умолчанию с помощью команды /var/lib/libvirt/images.
# ls -l /var/lib/libvirt/images
-rw-------. 1 root root 10737418240 Jan 3 16:47 vm1Storage.img
Наконец, мы готовы к созданию виртуальной машины. Нажмите на кнопку VM на главном экране, и появится окно.
Выберите метод установки для создания ВМ. Мы пока выберем Local install media, а позже обсудим оставшиеся методы.
Теперь мы должны выбрать, какой локальный носитель использовать. У нас есть два варианта:
Физический CDROM/DVD
ISO-образ
Давайте выберем ISO-образ и введем его путь.
Важно: к сожалению, для тех, кто использует RHEL или CentOS7, здесь есть баг. Он не даёт установить машину с использованием физического носителя CDROM/DVD. Опция просто будет серая:
И если Вы наведете курсор, то появится сообщение об ошибке: physical cdrom passthrough not supported with this hypervisor (Физический CDROM не поддерживает данный гипервайзер).
Больше информации можете узнать здесь.
Снова вопрос про хранилище. Используем виртуальный диск, который мы недавно создали. Он скоро появится.
На последнем шаге Вам необходимо дать название виртуальной машине.
Если Вы хотите изменить что-то в конфигурации или сделать небольшую адаптацию, поставьте галочку на Customize configuration before install. Затем нажмите на finish и подождите несколько секунд, пока не появится контрольная консоль для вашей гостевой ОС.
Готово!
Заключение
Вы узнали, что такое KVM, как управлять виртуальной платформой с помощью инструментов GUI, как создать виртуальную машину с помощью этого приложения и много других классных штук.
Одним из полезнейших инструментов в повседневной работе современного бизнеса является интеграция CRM – системы и офисной телефонии. Это позволяет совершать исходящие звонки по нажатию на номер клиента, иметь всю историю звонков заказчика в CRM, прослушивать его аудиозапись разговоров, автоматически направлять вызов на ответственного менеджера и конечно, видеть карточку клиента при входящем звонке. Сегодня мы хотим рассказать об интеграции облачной Битрикс24 и IP – АТС Asterisk.
Как это работает?
Настройки рассмотрим на базе решения «Простые звонки». После обращения в компанию, на почту придет ссылку на модуль для Asterisk и инструкция по настройке.
Архитектура работы решения следующая: на офисной IP – АТС Asterisk развертывается модуль коннектора, с указанием необходимых настроек. В свою очередь, на стороне Битрикс24 устанавливается приложение и расширение для браузера, в котором указываются реквизиты для подключения к коннектору на IP – АТС.
Данное решение работает только в браузере GoogleChrome
Настройка Asterisk
Переходим к установке модуля АТС – коннектора на стороне Asterisk:
Содержимое архива prostiezvonki извлекаем в директорию Asterisk /var/www/html/admin/modules/ и переходим дальше по файловой структуре в директорию /var/www/html/admin/modules/prostiezvonki/module
Если вы используете 32 битную систему, то скопируйте файлл libProtocolLib.so в директорию /usr/lib и cel_prostiezvonki.so в директорию /usr/lib/asterisk/modules. Если у вас установлена 64 битная система, то загрузите их в /usr/lib64 и /usr/lib64/asterisk/modules соответственно.
Файл из архива cel.conf переместите в директорию /etc/asterisk
После настроек, переходим в интерфейс FreePBX. Перейдите во вкладку Admin → Module Admin. Находим модуль «Простые звонки» и производим его установку. После этого, приступаем к настройке: переходи во вкладку Admin → Module Admin:
Рассмотрим опции настройки модуля:
Общая настройка модуля
Пароль - пароль, с помощью которого, Битрикс24 будет подключаться к АТС – коннектору. В данном примере пароль простой - P@ssw0rd
Лог файл - полный путь к лог - файлу, в котором коннектор будет фиксировать детали своей работы
Уровень записи лога - глубина логирования. Это значение имеет смысл менять на debug на этапе отладаки и "траблшутинга"
Порт - порт, на котором АТС - коннектор будет "слушать" подключение от Битрикс24
Лицензия - лицензионный ключ, который вам прислала команда технической поддержки
Размер очереди событий - параметр регламентирует размер очереди, в которой накапливается история звонков в случае отсутствия соединения между коннектором на АТС и CRM - системой
Общая настройка модуля
Префикс для входящих - префикс, который система будет подставлять к входящим звонкам, в момент передачи в Битрикс24
Префикс для исходящих - при использовании функции "Click - to - Call", то есть звонок по нажатию, коннектор будет подставлять префикс для исходящих вызовов
Тип канала - в нашем примере мы работает по протоколу SIP
Длина внутренних номеров - например, если вы используете внутреннюю нумерацию с 100 - 199, то данное значение будет равно 3
Настройка записи телефонных разговоров
Внешняя директория - директория, в которой содержатся файлы системы записи. Здесь содержится внешний IP – адрес нашего маршрутизатора и проброшенный порт. Своего рода это префикс для ссылок на аудио - файл, который коннектор будет подставлять при передаче их в Битрикс24. Мы подробно расскажем о настройке этого поля далее.
Настройка умной переадресации
Таймаут поиска - время, в течение которого, коннектор ожидает получить номер ответственного сотрудника от Битрикс24
Таймаут ответа - время, в течение которого будет звонить телефон ответственного менеджера
Для использования функции «Умная переадресация» (перевод звонка на ответственного менеджера), установите соответствующую галочку в настройках входящих маршрутов
Ссылки на запись разговора в Битрикс24
Подключитесь к серверу IP – АТС Asterisk по SSH. Создадим директорию audio в корневой директории WEB – сервера /var/www/html/:
[root@asterisk ~]# mkdir /var/www/html/audio
После этого смонтируем папку, где хранятся файлы системы записи разговоров Asterisk в созданную директорию. Для этого, откройте файл /etc/fstab:
[root@asterisk ~]# vim /etc/fstab
Добавьте в файл следующую запись:
/var/spool/asterisk/monitor/ /var/www/html/audio/ none rbind 0 0
Примените изменения командой mount -a
Настройка Битрикс24 для работы с коннектором
Приступаем к настройке Битрикс24. Для этого, переходим в раздел Приложения → Все приложения→ IP-телефония → Простые звонки. Произведите установку указанного приложения:
Теперь устанавливаем расширение для браузера Google Chrome. Кликните по кнопке ниже и установите указанное расширение:
Расширение для Google Chrome
Переходим по пути Настройка → «Инструменты → «Расширения. Находим «Простые звонки» и нажимаем Настройки для конфигурации опций подключения к АТС – коннектору:
Опции настройки:
Внутренний номер телефона - ваш внутренний номер (Extension)
Адрес АТС-коннектора - в нашей примере указано адрес 1.2.3.4:56789 - это внешний IP - адрес нашего маршрутизатора и проброшенный порт. То есть, при обращение на этот адрес "извне", происходит проброс на внутренний адрес 192.168.1.2:10150, где 192.168.1.2 - это IP - адрес Asterisk, а 10150 - порт, который мы ранее указывали в настройках АТС - коннектора
Пароль - пароль, который мы указали в настройка АТС - коннектора
Кол-во секунд для определения клиента по номеру телефона - если у вас на этапе эксплуатации не определяется клиент по известному номеру, увеличьте это значение
Автоматическое создание лида - создавать ли лида, если звонок пришел с неизвестного номера
Готово. Нажимаем «Сохранить и подключить». Как видно, наш коннектор находится в статусе «Подключен». Сделаем тестовый звонок:
Использование нового API Bitrix24
При установленной галочке "Использование нового API Bitrix24 (бета)", как показано на скриншоте ниже, происходят изменения в работе всплывающих окон: