По вашему запросу ничего не найдено :(
Убедитесь, что запрос написан правильно, или посмотрите другие
наши статьи:
Графовые базы данных (Graph databases) – это нереляционные системы (NoSQL), которые определяют корреляции между сложно взаимосвязанными сущностями. Такая структура позволяет обойти ограничения реляционных БД и уделяет больше внимания отношениям между данными.
Графовая база данных позволяет аккуратно определять взаимосвязи и дает ответы на сложные вопросы о том, как точки данных соотносятся друг с другом.
В данной статье объясняется, что такое графовые базы данных, и как они работают. Но для начала можно быстро познакомиться с другими видами NoSQL.
Что такое графовая база данных?
Графовая база данных – это нереляционный тип баз данных, основанный на топографической структуре сети. Идея этой БД восходит к математической теории графов. Графы представляют наборы данных в виде узлов, ребер и свойств.
Узлы, или точки (nodes) – это экземпляры или сущности данных; ими является любой объект, который вы планируете отслеживать. Например, люди, заказчики, подразделения и т.д.
Ребра, или линии (edges) – это важнейшие концепции в графовых БД. Они отображают взаимосвязь между узлами. Эти связи имеют направление и могут быть одно- или двунаправленными.
Свойства (properties) содержат описательную информацию, связанную с узлами. В некоторых случаях свойства бывают и у ребер.
Узлы с пояснительными свойствами создают взаимосвязи, представленные через ребра.
Графовые БД предлагают концептуальное представление данных, тесно связанных с реальным миром. Моделировать сложные связи гораздо проще, поскольку отношениям между точками данных уделяется такое же внимание, как и самим данным.
Сравнение графовых и реляционных баз данных
Графовые БД не создавались для замены реляционных БД. Стандартом отрасли на текущий момент считаются реляционные БД. Но перед этим важно понять, что может предложить та или иная разновидность систем.
Реляционные базы данных обеспечивают структурированный подход к данным, а графовые БД считают более гибкими и ориентированы на быстрое понимание взаимосвязей между данными.
Графовые и реляционные БД имеют свою область применения. Сложные взаимосвязи лучше реализовать через графовые БД, поскольку их возможности превосходят традиционные реляционные СУБД. При создании моделей баз данных в реляционных системах MySQL или PostgreSQL требуется тщательное планирование, а в графовых используется более естественный и гибкий подход к данным.
В таблице ниже приведены ключевые отличия между графовыми и реляционными БД:
Тип
Графовые БД
Реляционные БД
Формат
Узлы и ребра со свойствами
Таблицы со строками и столбцами
Связи
Представлены в виде ребер между узлами
Создаются с помощью внешних ключей между таблицами
Гибкость
Гибкие
Жестко заданные
Сложные запросы
Быстрые и отзывчивые
Необходимы сложные соединения
Варианты использования
Системы с взаимосвязанными зависимостями
Системы с транзакциями и более простыми отношениями
Как работают графовые базы данных?
Графовые базы данных одинаково относятся к данным и взаимосвязям между ними. Связанные узлы физически связываются, и эта связь рассматривается как часть данных.
При таком моделировании данных вы можете запрашивать взаимосвязи также, как и сами данные. Вместо вычисления и запросов на подключение, графовые БД считывают взаимосвязи напрямую из хранилища.
По гибкости, производительности и адаптивности графовые БД близки к другим нереляционным моделям данных. В них, как и в других нереляционных БД, отсутствуют схемы, что делает данную модель гибкой и легко изменяемой.
Примеры использования графовых баз данных
Есть много примеров, когда графовые БД превосходят все прочие методы моделирования данных. Среди таких примеров можно выделить:
Рекомендательные сервисы в режиме реального времени. Динамичные рекомендации по продуктам и электронным товарам улучшают пользовательский опыт и максимизируют прибыль. Из известных компаний можно упомянуть Netflix, eBay и Walmart.
Управление основными данными. Привязка всех данных к одной общей точке обеспечивает постоянство и точность данных. Управление основными данными крайне важно для крупномасштабных компаний мирового уровня.
GDPR и соблюдение нормативных требований. С графами гораздо проще управлять безопасностью и отслеживать перемещение данных. Базы данных снижают вероятность утечки информации и обеспечивают большую согласованность при удалении данных, чем повышается общее доверие к конфиденциальной информации.
Управление цифровыми ресурсами. Объем цифрового контента просто огромен и постоянно растет. Графовые БД предлагают масштабируемую и простую модель данных, позволяющую отслеживать цифровые ресурсы: документы, расчеты, контракты и т.д.
Контекстно-зависимые сервисы. Графы помогают в предоставлении сервисов, приближенных к актуальным характеристиками мира. Будь то предупреждения о стихийных бедствиях, информация о пробках или рекомендации по товарам для конкретного местоположения, – графовые базы данных предлагают логическое решение для реальных обстоятельств.
Выявление мошенничества. Поиск подозрительных закономерностей и раскрытие мошеннических платежных схем выполняется в режиме реального времени. Выявление и изоляция частей графа позволяет быстрее обнаружить мошенническое поведение.
Семантический поиск. Обработка естественного языка бывает неоднозначной. Семантический поиск помогает определить значение ключевых слов и выдает более подходящие варианты, которые, в свою очередь проще отобразить с помощью графовых БД.
Сетевое управление. Сети – это не что иное, как связанные графы. Графовые БД снижают время, необходимое для оповещения сетевого администратора о проблемах в сети.
Маршрутизация. Информация передается по сети за счет поиска оптимальных маршрутов, и это делает графовые БД идеальным вариантом для маршрутизации.
Какие есть известные графовые базы данных?
С ростом больших данных и аналитики в соцсетях популярность графовых БД возрастает. Моделирование графов поддерживает множество многомодельных БД. Кроме того, доступно много нативных графовых БД.
JanusGraph
JanusGraph – это распределенная, масштабируемая система графовых БД с открытым кодом и широким набором возможностей по интеграции и аналитике больших данных. Ниже приведен перечень основных функций JanusGraph:
Поддержка ACID-транзакций с возможностью одновременного обслуживания тысяч пользователей
Несколько вариантов хранения графических данных, включая Cassandra и HBase
Встроенный сложный поиск, а также дополнительная (опциональная) поддержка Elasticsearch
Полная интеграция Apache Spark для расширенной аналитики данных
JanusGraph использует полный по Тьюрингу язык запросов для обхода графов
Neo4j
Neo4j (Network Exploration and Optimization 4 Java, что переводится как «исследование сети и оптимизация для Java») – это графовая база данных, написанная на Java с нативным хранением и обработкой графов. Основные возможности:
Масштабируемость БД за счет разделения данных на части – сегменты
Высокая доступность благодаря непрерывному резервному копированию и последовательным обновлениям
Высокий уровень безопасности: несколько экземпляров баз данных можно разделить, оставив их на одном выделенном сервере
Neo4j использует Cypher – язык запросов для графовых БД, который очень удобен для программирования
DGraph
DGraph (Distributed graph, что переводится как «распределенный граф») – это распределенная система графовых БД с открытым исходным кодом и хорошей масштабируемостью. Вот несколько интересных возможностей DGraph:
Горизонтальная масштабируемость для работы в реальной среде с ACID-транзакциями
DGraph – это свободно распространяемая система с поддержкой множества открытых стандартов
Язык запросов – GraphQL, который был разработан для API
DataStax Enterprise Graph
DataStax Enterprise Graph – это распределенная графовая БД на базе Cassandra. Она оптимизирована под предприятия. Несколько функций:
DataStax обеспечивает постоянную доступность для корпоративных нужд
База данных легко интегрируется с автономной платформой Apache Spark
Полная интеграция аналитики и поиска в реальном времени
Масштабируемость за счет наличия нескольких центров обработки данных
Поддержка Gremlin и CQL для запросов
Плюсы и минусы графовых баз данных
В каждом типе баз данных есть свои плюсы и минусы. Именно поэтому так важно понимать отличия между моделями и доступные возможности для решения конкретных проблем. Графовые БД – это развивающаяся технология с целями, отличными от других типов БД.
Плюсы
Вот несколько плюсов графовых баз данных:
Гибкая и адаптивная структура
Четкое представление взаимосвязей между сущностями
Запросы выводят результаты в реальном времени. Скорость зависит от количества связей
Минусы
Ниже перечислены основные минусы системы:
Отсутствует стандартизированный язык запросов. Язык зависит от используемой платформы
Графы не подходят для систем на основе транзакций
Небольшая база пользователей; при возникновении проблема сложно получить поддержку
Заключение
Графовые базы данных – это отличный подход для анализа сложных отношений между объектами данных. Быстрота запросов и результаты в режиме реального времени хорошо вписываются в требования современных и стремительно растущих исследований данных. Графы – это развивающаяся технология, которую ждет еще много улучшений.
Если вы на пути изучения Kubernetes, начните с лабораторной среды. Использование лабораторной среды позволит вам правильно развернуть и получить рабочую среду Kubernetes и это является одним из лучших способов проведения экспериментов и обучения.
В этой статье рассмотрим установку Minikube на Windows Hyper-V Server 2019, его конфигурацию и работу с приложениями и их развертываниями.
Что такое Minikube?
Minikube это простой и быстрый способ создать локальный кластер Kubernetes. Он работает на MacOs, Lunix и Windows системах. Также это отличный вариант для разработчиков и тех, кто еще плохо знаком или только начинает изучать Kubernetes.
Некоторые возможности и особенности решения Minikube:
Кроссплатформенность, т.е. поддерживает все основные ОС: Linux, macOS и Windows;
В зависимости от возможностей, можно развернуть в виртуальной машине, контейнере или на железо;
Поддержка Docker;
Наличие драйверов для VmWare, VirtualBox, Docker, KVM, Hyper-V и др.;
Поддержка последних версий Kubernetes;
Docker API для быстрого развертывания образов;
Использование дополнений (addons);
Minikube обладает интегрированной поддержкой Dashboard Kubernetes
Установка Minikube
Для работы в Minikube на Hyper-v нужно выполнить следующие действия:
Проверить соответствие минимальным требованиям
Предварительно настроить Hyper-v server
Выбрать диспетчер пакетов для установки Minikube
Установить Minikube
Запустить кластер Kubernetes
Подключиться к кластеру, посмотреть дашборд
1. Проверка соответствия минимальным требованиям:
Для развертывания и использования Minikube в соответствии с его документацией должны удовлетворяться следующие требования:
2 GB свободной оперативной памяти
2 или более CPU
От 20 GB или более свободного дискового пространства
Наличие интернет
Docker container или виртуальная машина, например, VirtualBox или Hyper-V
2. Настройка Hyper-v server
Какой-то специальной настройки Hyper-v не требует, должны выполняться стандартные требования для работы Hyper-v: 64-разрядный процессор с преобразованием адресов второго уровня (SLAT), достаточный объем оперативной памяти и быстрые диски. Поддержка виртуализации в BIOS/UEFI (у Intel - Intel VT, у AMD - AMD-V). Чтобы виртуальные системы имели доступ в интернет, нужно заранее создать внешний виртуальный коммутатор.
Вначале посмотрим доступные сетевые адаптеры:
Get-NetAdapter
Найденное имя адаптера добавим в команду ниже.
Создать новый внешний сетевой адаптер можно командой PowerShell
New-VMSwitch -name ExternalSwitch -NetAdapterName "Ethernet 2" -AllowManagementOS $true
В противном случае при первом запуске Minikube покажет ошибку:
! StartHost failed, but will try again: creating host: create: precreate: no External vswitch nor Default Switch found. A valid vswitch must be available for this command to run.
Попросит выполнить minikube delete и отправит читать документацию: https://docs.docker.com/machine/drivers/hyper-v/
3. Диспетчер пакетов
В этой статье используется Windows Server 2019, и мы будем использовать Chocolatey, так как другой диспетчер пакетов - Windows Package Manager поддерживает только Windows 10.
Из PowerShell выполним команды:
iwr https://chocolatey.org/install.ps1 -outfile C:install.ps1
c:install.ps1
4. Инсталляция Minikube
После установки Chocolatey нужно выполнить команду:
choco install minikube
5. Запуск
Если после выполнения команды minikube start он не запускается, значит нужно установить соответствующие драйвера и провайдер
Для запуска с привилегированными правами, выполним:
runas /noprofile /user:администратор powershell
В нашем случае для Hyper-V выполняем:
Enable-WindowsOptionalFeature -Online -FeatureName Microsoft-Hyper-V -All
Проверим установку компонентов:
Get-WindowsFeature –Name –hyper-v
Выяснилось, что актуальная версия Minikube не работает c Hyper-v, понизим версию командой
choco install minikube --version 1.6.2 --allow-downgrade
затем удалим minikube delete и снова запустим
minikube start
6. Подключение
Проверить, что VM запущена, поможет команда PowerShell
Get-vm
Просмотреть, что окружение запущено можно командой kubectl get po –A
Подготовим хостовую систему для работы браузеров, установив дополнительные компоненты:
Add-WindowsCapability -Online -Name ServerCore.AppCompatibility~~~~0.0.1.0
И перезагрузим сервер, затем выполним команду minikube dashboard
На сервер предварительно скопирован браузер Firefox, в нем откроем ссылку и убедимся в работоспособности.
pfSense это маршрутизатор и межсетевой экран с открытым исходным кодом на основе FreeBSD. PfSense подходит для малых и средних компаний и предоставляет недорогое специализированное решение межсетевого экрана и маршрутизатора для физических и виртуальных компьютерных сетей.
/p>
Программа, которую можно установить, как на физическую, так и на виртуальную машину, предоставляет широкий спектр функций, которые почти схожи с платными решениями. ПО так же поддерживает решения сторонних разработчиков такие, как Squid, Snort и другие, благодаря которым функционал еще больше расширяется. Плюсы использования межсетевого экрана pfSense:
Не требует высокого уровня технических знаний;
Имеет графический интерфейс, который облегчает конфигурирование, обновление и добавление плагинов;
Низкая цена;
Не привязана к конкретному вендору;
Несколько вариантов развертывания включая физические сервера, компьютеры или виртуальные хосты.
Стандартный набор функционала следующий:
Межсетевой экран;
Беспроводная точка доступа;
Маршрутизатор;
Точка доступа VPN;
DHCP/DNS сервер;
Балансировка нагрузки;
Ограничение трафика (traffic shaping);
Фильтрация веб контента.
Установка pfSense
pfSense сама по себе является операционной системой, и его нельзя установить поверх другой ОС. Нужно либо резервировать целиком физический компьютер, либо развертывать его как виртуальную машину в физической системе, такой как сервер. Виртуальное развертывание устраняет необходимость в дополнительном компьютере в сети.
В этой статье мы покажем вам, как установить программное обеспечение pfSense на виртуальной машине на Ubuntu или CentOS. Для этого нужна машина, поддерживающая виртуализацию.
Сначала мы создадим виртуальную машину, на которой потом установим pfSense. Можно использовать Virtual Box, Virtual Ware, KVM или любое другое совместимое ПО виртуализации. В этом руководстве мы будем работать с Virtual Box.
Так как ПО устанавливается на Virtual Box, процесс установки pfSense одинаковый независимо от операционной системы хоста. Это означает, что вы будете выполнять те же действия на Ubuntu, CentOS и других дистрибутивах Linux, macOS или Windows.
Установка pfSense on Ubuntu and CentOS через VirtualBox
Предварительные требования:
Физическая или виртуальная машина с установленной Ubuntu или CentOS;
Пользователь с правом sudo;
Программа виртуализации: Virtual Box, VM Ware, KVM, Virtuozzo, Xen и т.д.
Две сетевые карты;
Шаг 1: Скачиваем образ pfSense
При создании и настройке виртуальной машины потребуется ISO образ pfSense, который рекомендуется загрузить с официального веб-сайта перед началом настройки виртуальной машины.
Страница загрузки предлагает различные опции, и конкретный файл зависит от аппаратного обеспечения компьютера и процесса установки.
Выберите архитектуру, тип файла установщика и соответствующее зеркало для загрузки;
В нашем случае мы выберем архитектуру AMD64 (64 бит), установщик CD-образа (ISO) и зеркало в Нью-Йорке, США;
Щелкните на Download и обратите внимание на расположение файла.
Обычно файл бывает в формате gzip (gz), и его нужно будет разархивировать. Обратите внимание на путь к файлу, так как этот путь понадобится после настройки виртуального компьютера.
Шаг 2: Создание и настройка виртуальной машины под pfSense
На хостовой машине запустите Virtual Box (или любой другой гипервизор) и нажмите на New:
Введите название ВМ, выберите тип ОС и версию. В этом руководстве выбрали следующие настройки:
Название: pfsvm;
Тип ОС: BSD;
Версия: FreeBSD (64-бит);
Нажимаем кнопку Next
Далее нужно выбрать объем оперативной памяти. Чтобы выбрать рекомендуемый объем просто нажмите Next. Мы выбрали рекомендуемые 1Гб от доступных 4 Гб.
Следующий шаг создание виртуального жесткого диска. Рекомендуется 16Гб, но это значение можно менять в зависимости от доступных ресурсов.
Выбираем Create a virtual disk now, нажимаем Create. Тип файла виртуально диска выбираем VMDK и нажимаем Next.
Выбираем Dynamically allocated storage и нажимаем Next. Задаем название виртуальному диску и размер. В нашем случае мы оставляем предлагаемое название и рекомендуемый размер и нажимаем Create.
Далее программа создаст виртуальную машину и вернет нас на начальный экран гипервизора.
Далее покажем, как настроить сеть, сетевые карты и выбор загрузочного диска. Для начала нужно создать виртуальную сеть.
Шаг 3: Создание и настройка сети в VirtualBox
В Virtual Box выбираем меню File пункт Preferences:
Если уже имеется виртуальная сеть, как на скриншоте ниже, то можно использовать ее, в противном случае нужно создать новую сеть:
Добавляем новую NAT сеть. Проверяем активна ли созданная сеть. Кнопка с шестерёнкой позволяет менять конфигурацию сети. Мы все оставим по умолчанию и нажимаем OK.
Далее нужно создать внутреннюю сеть для виртуальной среды. Для этого в меню File выбираем Host Network Manager.
Тут надо нажать на Create, а затем Properties чтобы задать IP адреса для внутренней локальной сети vboxnet0.
Убедитесь, что DHCP включен и правильно настроен:
Итак, мы создали нужные сети, теперь нужно настроить сетевые карты виртуальной машины. WAN адаптер будет подключен через NAT, LAN подключим к ранее созданному vboxnet0.
Шаг 4: Настройка сетевых интерфейсов pfSense
Откройте настройки виртуальной машины выбрав ее, а затем кликнув на шестеренку (Settings). Затем перейдите на Network.
Убедитесь, что Adapter1 включен и из выпадающего списка Attached to: выберите NatNetwork. Так как у нас всего одна сеть, она установлена по умолчанию, но, если у вас таких сетей много, нужно выбрать ту, которую планировали использовать для pfSense. Adapter1 у нас будет интерфейсом, смотрящим в интернет.
Затем настроим внутреннюю сеть. Для этого выбираем Adapter2, включаем его. Из выпадающего списка выбираем Host-only adapter и указываем название созданной сети: vboxnet0. Можно выбирать и другие опции в зависимости от ваших требований.
Шаг 5: Настройка VM для загрузки с образа диска
Для этого в Настройках виртуальной машины выбираем Storage. Щелкаем на иконке Empty CD. Кликнув на иконку диска со стрелочкой выбираем Choose Virtual Optical Disk File:
Указываем путь к скачанному ранее образу pfSense и нажимаем OK:
Шаг 6: Установка pfSense на виртуальную машину
Выбираем созданную виртуальную машину и запускаем ее:
Машина запуститься с образа диска. В этом руководстве все значения оставим по умолчанию их можно будет менять после установки.
Принимаем условия лицензионного соглашения (как правило, не читая)
Нажимаем OK для продолжения установки со значениями по умолчанию
Выбираем раскладку клавиатуры. Нажимаем Enter для выбора значения по умолчанию (US)
Выбираем метод разбиения диска. Оставляем рекомендуемое авто разбиение:
Дождитесь конца установки:
После завершения установки предложат изменить некоторые конфигурации вручную. Выбираем No:
Установка завершена и для продолжения нужно перезагрузить систему. Но перед этим нужно извлечь диск. Для этого в меню Devices выбираем Remove disk from virtual drive.
Щелкните Force Unmount:
Затем, смело можно перезагружать машину.
Шаг 7: Вход и настройка pfSense
Если установка прошла успешно - после перезагрузки вы должны увидеть экран, как на скриншоте:
Если так, уже можно приступать к настройке брандмауэра. Система дает три способа конфигурации:
Через командную строку, выбирая номера пунктов настроек;
Зайдя на веб-интерфейс с другого компьютера в той же сети;
Зайдя на веб-интерфейс через интернет по WAN IP.
Шаг 8: Вход на веб-интерфейс pfSense
Настройка через графический веб-интерфейс обеспечивает наиболее простой способ. Для доступа к pfSense через веб-браузер необходим компьютер в той же сети. Откройте веб-браузер и введите IP-адрес, указанный при настройке локальной сети виртуальной среды. В нашем случае это 192.168.1.1
Введите имя пользователя admin и пароль pfSense и нажмите Sign in. Вы перейдете к мастеру, который поможет вам выполнить начальные настройки.
Следуйте инструкциям и при необходимости измените их. Начальные настройки включают изменение пароля учетной записи администратора и конфигурации интерфейса LAN.
После завершения нажмите кнопку Finish.
После нажатия кнопки Finish необходимо принять соглашение некоммерческом использовании, после чего появится панель мониторинга состояния pfSense. После завершения начальной настройки можно получить доступ к меню и изменить почти все параметры, включая настройку интерфейсов, брандмауэр, VPN и другие функций.