По вашему запросу ничего не найдено :(
Убедитесь, что запрос написан правильно, или посмотрите другие
наши статьи:
Утилиты реагирования на нарушения безопасности в предприятии жизненно важны для быстрой идентификации и локализации кибератак, эксплойтов, вирусов, а также внутренних и внешних угроз.
Обычно эти утилиты работают совместно с традиционными решениями безопасности такими, как антивирусы и межсетевые экраны и выполняют функцию анализа, уведомления, а иногда помогают останавливать атаки. Для этого такие утилиты собирают информацию из систем журналирования, конечных устройств, систем аутентификации и идентификации и других мест, куда у них есть доступ для выявления подозрительных и аномальных действий, сигнализирующих о компрометации системы или взломе.
Эти инструменты помогают автоматически и быстро отслеживать, выявлять и устранять широкий спектр проблем безопасности, тем самым оптимизируя процессы и устраняя необходимость выполнения большинства рутинных задач вручную. Большинство современных инструментов предоставляют множество возможностей, включая автоматическое обнаружение и блокирование угроз и, в то же время, оповещение соответствующих групп безопасности для дальнейшего изучения проблемы.
Группы безопасности могут использовать инструменты в различных областях в зависимости от потребностей организации. Это может быть мониторинг инфраструктуры, конечных точек, сетей, ресурсов, пользователей и других компонентов.
Выбор лучшего инструмента - основная задача ИТ отделов организаций. Чтобы помочь найти правильное решение, ниже приведен список инструментов реагирования на инциденты для выявления, предотвращения и реагирования на различные угрозы безопасности и атаки, направленные против систем ИКТ.
У нас есть отдельная статья и веселый видео - ролик про виды сетевых атак.
IBM QRadar
IBM QRadar SIEM - это отличный инструмент обнаружения, который позволяет группам безопасности понимать угрозы и определять приоритеты для реагирования. QRadar собирает данные об активах, пользователях, сетях, облачных системах и конечных точках, а затем сопоставляет их с информацией об угрозах и уязвимостях. После этого он применяет расширенную аналитику для обнаружения и отслеживания угроз по мере их проникновения и распространения через системы.
Решение создает интеллектуальную информацию об обнаруженных проблемах безопасности. Это показывает первопричину проблем безопасности вместе с масштабом, тем самым позволяя группам безопасности реагировать, устранять угрозы и быстро останавливать распространение и воздействие атак на систему. Как правило, IBM QRadar представляет собой комплексное аналитическое решение с разнообразными функциями, включая возможность моделирования рисков, которая позволяет группам безопасности симулировать потенциальные атаки.
IBM QRadar подходит для среднего и крупного бизнеса и может быть развернут как в виде программного обеспечения или виртуального устройства в локальной или облачной среде, или среде SaaS, так и в виде аппаратного обеспечения.
Ниже перечислены дополнительные возможности:
Функциональная фильтрация для получения желаемых результатов;
Расширенные возможности поиска угроз;
Netflow анализ;
Возможность быстрого анализа массива данных;
Повторное создание очищенных или потерянных правонарушений;
Обнаружение скрытых угроз;
Аналитика пользовательского поведения.
SolarWinds
SolarWinds обладает большими возможностями по управлению журналами и отчетностью, реагированием на инциденты в режиме реального времени. Она может анализировать и выявлять уязвимости и угрозы в таких областях, как журналы событий Windows, что позволяет группам отслеживать и устранять угрозы в системах.
В Security Event Manager можно использовать средства визуализации, которые позволяют пользователям легко выявлять подозрительные действия или аномалии. В дополнение к хорошей поддержке со стороны разработчиков, он также имеет подробную и интуитивно понятную панель управления.
Система постоянно анализирует события и журналы для обнаружения сетевых угроз. SolarWinds также имеет возможность автоматического реагирования на угрозы и мониторинга USB-дисков. Его диспетчер журналов и событий имеет расширенную фильтрацию и пересылку журналов, а также консоли событий и функцию управления узлами.
Вот основные возможности системы:
Превосходный анализ;
Быстрое обнаружение подозрительных действий и угроз;
Непрерывный контроль состояния безопасности;
Определение времени события;
Соответствие стандартам DSS, HIPAA, SOX, PCI, STIG, DISA и другим нормативам.
Решение SolarWinds подходит для малого и крупного бизнеса. Он имеет как локальные, так и облачные варианты развертывания и работает под управлением Windows и Linux.
Sumo Logic
Sumo Logic - это гибкая платформа интеллектуального анализа состояния безопасности на основе облачных вычислений, которая работает самостоятельно или совместно с другими решениями SIEM в облачных и гибридных средах.
Платформа использует машинное обучение для улучшенного обнаружения и расследования угроз, может обнаруживать и реагировать на широкий спектр проблем безопасности в реальном времени. Основанный на унифицированной модели данных Sumo Logic, позволяет группам безопасности объединять в одном решении аналитику состояния безопасности, управление журналами, приведение в соответствие нормативным требованиям и другие задачи. Данный продукт улучшает процессы реагирования на инциденты в дополнение к автоматизации различных задач безопасности. Она также проста в развертывании, использовании и масштабировании без дорогостоящих обновлений оборудования и программного обеспечения.
Обнаружение в режиме реального времени обеспечивает сравнение состояния безопасности с нормативными требованиями организации и позволяет быстро выявлять и изолировать угрозы. Sumo Logic помогает реализовать конфигурации безопасности и продолжать мониторинг инфраструктуры, пользователей, приложений и данных на традиционных и современных ИТ-системах.
Основные возможности системы:
Позволяет группам легко управлять оповещения и событиями
Простое и менее дорогостоящее соответствие требованиям HIPAA, PCI, DSS, SOC 2.0 и другим нормативам.
Определение конфигураций безопасности и несоответствий
Обнаружение подозрительного поведения злоумышленников
Расширенные средства управления доступом, помогающие изолировать активы и пользователей, входящих в группу риска.
ManageEngine
EventLog Analyzer ManateEngine - это SIEM решение, которое фокусируется на анализе различных журналов и извлекает из них различные сведения о производительности и безопасности. Инструмент, который в идеале является сервером журналов, имеет аналитические функции, которые могут выявлять необычные тенденции в журналах и сообщать о них, например, в результате несанкционированного доступа к ИТ-системам и ресурсам организации.
Целевые области включают такие ключевые узлы и приложения, как веб-серверы, серверы DHCP, базы данных, серверы печати, почтовые службы, и т.д. Кроме того, анализатор ManageEngine, работающий в системах Windows и Linux, полезен для приведения систем в соответствие стандартам защиты данных, таким как PCI, HIPPA, DSS, ISO 27001 и др.
AlienVault
AlienVault USM - это комплексное решение, сочетающее в себе функцию обнаружения угроз, реагирования на инциденты, а также управление соответствием нормативам, обеспечивающее комплексный мониторинг и восстановление безопасности для локальных и облачных сред. Продукт имеет множество функций безопасности, которые также включают обнаружение вторжений, оценку уязвимостей, обнаружение и инвентаризацию ИТ активов, управление журналами, корреляцию событий, оповещения по электронной почте, проверки соответствия нормативным требованиям и т.д.
Это недорогой, простой в внедрении и использовании инструмент управления безопасностью, который опирается на легкие датчики и агенты конечных точек, а также может обнаруживать угрозы в режиме реального времени. Кроме того, решение AlienVault USM предоставляет гибкие планы для любого размера организаций. Система имеет следующие преимущества:
Использование единого веб-портала для мониторинга локальной и облачной ИТ-инфраструктуры;
Помогает организации соответствовать требованиям PCI-DSS;
Оповещение по электронной почте при обнаружении проблем безопасности;
Анализ широкого спектра журналов различных технологий и производителей при создании информации, которая может быть использована в конкретных целях;
Простая в использовании панель мониторинга, которая показывает действия и тенденции во всех нужных узлах.
LogRhythm
LogRhythm, который доступен как облачный сервис, так и специальное оборудование, имеет широкий спектр самых необходимых функций, которые варьируются от логарифмической корреляции до искусственного интеллекта и поведенческого анализа. Платформа предлагает интеллектуальное решение безопасности, которое использует для анализа журналов и трафика в системах Windows и Linux искусственный интеллект.
Система обладает расширяемым хранилищем данных и зарекомендовала себя подходящим решением для фрагментированных рабочих процессов в дополнение к обеспечению сегментированного обнаружения угроз, даже в системах, где нет структурированных данных, нет централизованной видимости или автоматизации. Подходит для малых и средних организаций, позволяет отсеивать бесполезную информацию или другие журналы и сузить анализ до сетевого уровня.
Он совместим с широким спектром журналов и устройств, а также для расширения возможностей реагирования на угрозы и инциденты легко интегрируется с Varonis.
Rapid7 InsightIDR
Rapid7 InsightIDR является мощным решением безопасности для выявления инцидентов и реагирования на них, видимости конечных точек, мониторинга аутентификации и многих других задач.
Облачное средство SIEM имеет функции поиска, сбора данных и анализа и может обнаруживать широкий спектр угроз, включая кражу учетных данных, фишинг и вредоносные программы. Это дает ему возможность быстро обнаруживать и оповещать о подозрительных действиях, несанкционированном доступе как внутренних, так и внешних пользователей.
InsightIDR использует передовые технологии симуляции, аналитику поведения злоумышленников и пользователей, мониторинг целостности файлов, централизованное управление журналами и другие функции обнаружения. Это делает его подходящим средством для сканирования различных конечных точек и обеспечения обнаружения угроз безопасности в реальном времени в малых, средних и крупных организациях. Данные о поиске в журнале, конечных точках и поведении пользователей помогают отделам безопасности быстро и умно принимать решения по обеспечению безопасности.
Splunk
Splunk - это мощный инструмент, который использует возможности ИИ и машинного обучения для предоставления практических, эффективных и прогнозирующих сведений. Она обладает улучшенными функциями безопасности, а также настраиваемыми функциями исследования ИТ-активов, статистического анализа, панелей мониторинга, расследования, классификации и анализа инцидентов.
Splunk подходит для всех типов организаций как для локального развертывания, так и для развертывания в виде SaaS. Благодаря своей масштабируемости инструмент работает практически для любого типа бизнеса и отрасли, включая финансовые услуги, здравоохранение, государственный организация и т.д.
Ключевые возможности:
Быстрое обнаружение угрозы;
Определение и оценка рисков;
Управление оповещениями;
Упорядочивание событий;
Быстрое и эффективное реагирование
Работает с данными из любой машины, как в локальной среде, так и в облачной инфраструктуре.
Varonis
Varonis предоставляет полезный анализ и оповещения об инфраструктуре, пользователях, доступе к данным и их использовании. Данное решение обеспечивает ИТ-отдел практическими отчетами и предупреждениями, а также предлагает гибкую настройку для реагирования даже на незначительные подозрительные действия. Она предоставляет комплексные панели мониторинга, которые дают группам безопасности дополнительную видимость своих систем и данных.
Кроме того, компания Varonis может получить информацию о системах электронной почты, неструктурированных данных и других критически важных ресурсах с возможностью автоматического реагирования на проблемы. Например, блокирование пользователя, пытающегося получить доступ к файлам без разрешений, или использование незнакомого IP-адреса для входа в сеть организации.
Решение Varonis по реагированию на инциденты интегрируется с другими инструментами для получения более эффективной информации и оповещений. Он также интегрируется с LogRhythm для расширения возможностей обнаружения угроз и реагирования на них. Это позволяет группам оптимизировать свои операции и легко и быстро расследовать угрозы, устройства и пользователей.
Итог
С ростом объема и сложности киберугроз и атак на плечи отделов безопасности падает огромная нагрузка. А иногда они физически не в состоянии следить за всем. Для защиты критически важных ИТ-ресурсов и данных организациям необходимо развернуть соответствующие инструменты для автоматизации часто выполняемых задач, мониторинга и анализа журналов, обнаружения подозрительных действий и других проблем безопасности.
Как удалить неиспользуемые файлы в Linux? В этой статье вы узнаете, как настроить таймер, управляющий временными файлами. В большинстве современных систем Linux для оптимальной обработки требуется большое количество временных файлов и каталогов. В совокупности они могут потреблять гигабайты дискового пространства, если их не чистить часто. Поэтому необходимо удалить старые файлы, чтобы они не занимали место на диске.
Некоторые пользователи или приложения будут использовать каталог /tmp для хранения временных данных, в то время как другие используют более специфичное для задачи расположение, такое как каталоги демонов и непостоянных (volatile) пользовательских файлов в /run.
Непостоянные означает, что файлы существуют только в памяти. Если система перезагружается или происходит потеря питания, все содержимое энергозависимой памяти исчезнет.
Автоматическое очищение неиспользуемых временных файлов в Linux
В Red Hat Enterprise Linux 7 и новее включен новый инструмент systemd-tmpfiles. Этот инструмент предоставляет структурированный и настраиваемый метод управления временными каталогами и файлами.
Проверить запущенные сервисы можно командой:
$ systemctl status systemd-tmpfiles-*
? systemd-tmpfiles-setup.service - Create Volatile Files and Directories
Loaded: loaded (/usr/lib/systemd/system/systemd-tmpfiles-setup.service; static; vendor preset: disabled)
Active: active (exited) since Mon 2020-02-10 08:27:50 EAT; 1 weeks 3 days ago
Docs: man:tmpfiles.d(5)
man:systemd-tmpfiles(8)
Process: 794 ExecStart=/usr/bin/systemd-tmpfiles --create --remove --boot --exclude-prefix=/dev (code=exited, status=0/SUCCESS)
Main PID: 794 (code=exited, status=0/SUCCESS)
CGroup: /system.slice/systemd-tmpfiles-setup.service
Feb 10 08:27:50 envoy-nginx.novalocal systemd[1]: Starting Create Volatile Files and Directories...
Feb 10 08:27:50 envoy-nginx.novalocal systemd[1]: Started Create Volatile Files and Directories.
? systemd-tmpfiles-setup-dev.service - Create Static Device Nodes in /dev
Loaded: loaded (/usr/lib/systemd/system/systemd-tmpfiles-setup-dev.service; static; vendor preset: disabled)
Active: active (exited) since Mon 2020-02-10 08:27:49 EAT; 1 weeks 3 days ago
Docs: man:tmpfiles.d(5)
man:systemd-tmpfiles(8)
Process: 553 ExecStart=/usr/bin/systemd-tmpfiles --prefix=/dev --create --boot (code=exited, status=0/SUCCESS)
Main PID: 553 (code=exited, status=0/SUCCESS)
CGroup: /system.slice/systemd-tmpfiles-setup-dev.service
Feb 10 08:27:49 envoy-nginx.novalocal systemd[1]: Starting Create Static Device Nodes in /dev...
Feb 10 08:27:49 envoy-nginx.novalocal systemd[1]: Started Create Static Device Nodes in /dev.
При запуске служебного модуля systemd-tmpfiles-setup он запускает команду systemd-tmpfiles –create –remove. Команда проверяет файлы конфигурации из:
/usr/lib/tmpfiles.d/.conf
/run/tmpfiles.d/.conf
/etc/tmpfiles.d/*.conf
Если есть файлы и каталоги, отмеченные для удаления в указанных выше файлах конфигурации, они будут удалены. Для файлов и каталогов, отмеченных как для создания, они при необходимости создаются с правильными разрешениями.
Как временные файлы очищаются с помощью таймера Systemd
Блок таймера systemd, называемый systemd-tmpfiles-clean.timer, запускает службу systemd-tmpfiles-clean.service с регулярным интервалом, которая затем выполняет команду systemd-tmpfiles –clean.
В разделе [Timer] указывается, как часто следует запускать службу.
$ cat /usr/lib/systemd/system/systemd-tmpfiles-clean.timer
# This file is part of systemd.
#
# systemd is free software; you can redistribute it and/or modify it
# under the terms of the GNU Lesser General Public License as published by
# the Free Software Foundation; either version 2.1 of the License, or
# (at your option) any later version.
[Unit]
Description=Daily Cleanup of Temporary Directories
Documentation=man:tmpfiles.d(5) man:systemd-tmpfiles(8)
[Timer]
OnBootSec=15min
OnUnitActiveSec=1d
В приведенном выше примере служба systemd-tmpfiles-clean.service будет запущена через 15 минут после загрузки системы. Любой другой запуск происходит через 24 часа после последнего запуска службы. Вы можете настроить значения по своему вкусу.
Если вы внесете изменения, убедитесь, что вы перезагрузили сервис.
sudo systemctl daemon-reload
sudo systemctl enable --now systemd-tmpfiles-clean.timer
Как вручную очистить временные файлы
Давайте настроим systemd-tmpfiles для очистки каталога /mytmp. Это гарантирует, что в каталоге не будет файлов, которые не использовались последние 3 дня.
Вы можете скопировать пример файла конфигурации и обновить его - /usr/lib/tmpfiles.d/tmp.conf
Отредактируйте файл, как показано ниже.
$ sudo vim /etc/tmpfiles.d/mytmp.conf
See tmpfiles.d(5) for details
# Clear tmp directories separately, to make them easier to override
q /mytmp 1777 root root 3d
Если вы хотите, чтобы каталог существовал с правильной принадлежностью, создайте конфигурацию, как показано ниже.
d /run/mytmp 0700 root root 60s
Любой файл в этом каталоге, который остается неиспользованным в течение последних 60 секунд, должен быть очищен.
После создания файла используйте следующую команду, чтобы убедиться, что файл содержит соответствующую конфигурацию.
sudo systemd-tmpfiles --create /etc/tmpfiles.d/mytmp.conf
Если вы не видите никаких ошибок в выводе, значит, это подтверждает правильность настроек конфигурации. Вы можете вызвать ручную очистку в любое время с помощью команды:
systemd-tmpfiles --clean /etc/tmpfiles.d/mytmp.conf
Обмен сообщениями Publish/Subscribe, также известный как Pub/Sub, - это асинхронный метод связи между службами, который используется в бессерверных архитектурах и архитектурах микрослужб. В целом, модель Pub/Sub включает в себя:
Издателя (publisher), который отправляет сообщение
Подписчика (subscriber), который получает сообщение через брокера сообщений
В общих чертах, что такое обмен сообщениями Pub/Sub
С учетом того, что популярность несвязных приложений и приложений на основе микрослужб только растет, критически важное значение для общей функциональности приложения имеет надлежащая коммуникация между компонентами и службами. Обмен сообщениями Pub/Sub помогает здесь в двух аспектах:
предоставляет разработчикам возможность легко и просто создавать несвязные приложения, используя надежный метод;
предоставляет пользователям возможность легко и просто создавать событийно-управляемые архитектуры.
Модель Pub/Sub позволяет асинхронно передавать сообщения в несколько разделов приложений.
Основной компонент, который обеспечивает всю эту функциональность, называется Тема (Topic). Издатель отправляет сообщение в тему, а тема сразу же отправляет это сообщение всем подписчикам. Именно этот подход отличает модель Pub/Sub от обычных брокеров сообщений, где очередь сообщений группируется до тех пор, пока пользователь или служба не запросит и не извлечет их.
Что бы ни представляло из себя сообщение в модели Pub/Sub, оно в любом случае будет отправлено всем подписчикам. Единственное исключение – это политики для подписчиков, которые создаются пользователями и которые фильтруют сообщения.
Такой поход позволяет создавать событийно-управляемые сервисы, которые не будут требовать от подписчиков запрашивать сообщения из очереди. Также модель Pub/Sub позволяет разработчикам создавать различные отдельные функции, которые используют одно и то же сообщение (одни и те же данные) и которые могут выполняться параллельно, что дает возможность обслуживать сразу несколько подписчиков.
Шаблон Pub/Sub обособляет издателей от подписчиков для того, чтобы издатели не знали, где используется сообщение, а подписчики не знали ничего об издателе. Это способствует улучшению общей безопасности приложения.
Преимущества шаблона Pub/Sub
Распределенное приложение на основе микрослужб, которое к тому же было разработано с помощью шаблона Pub/Sub, приносит выгоду всей организации, от разработчиков программного обеспечения до инженеров, которые отвечают за контроль качества.
Ниже приведен список преимуществ шаблона Pub/Sub:
Несвязные/слабосвязные компоненты
Модель Pub/Sub позволяет легко разделить коммуникацию и логику приложения, это в свою очередь позволяет создать изолированные компоненты. Это обеспечивает:
создание модульных, более надежных и безопасных программных компонентов или модулей;
улучшение качества кода и удобство сопровождения.
Улучшенная наглядность в масштабе системы
Простота шаблона Pub/Sub позволяет пользователям легко понимать принцип работы приложения.
С помощью этого шаблона также можно создавать несвязные компоненты, которые позволяют наблюдать за информационным потоком. Мы можем точно знать, откуда идет информация и куда, без явного определения источников или адресатов в исходном коде.
Коммуникации в режиме реального времени
Pub/Sub мгновенно доставляет сообщения подписчикам с помощью push-доставки. Это делает данный подход идеальным для коммуникации в режиме, близком к режиму реального времени. Такой подход избавляет от необходимости отправки запроса для проверки наличия сообщений в очередях, в следствие чего снижается задержка доставки сообщений в приложении.
Простота разработки
Так как Pub/Sub не зависит от языка программирования, протокола или какой-то конкретной технологии, то в этот шаблон может быть интегрирован абсолютно любой поддерживаемый брокер сообщений с помощью любого языка программирования. Ко всему прочему, Pub/Sub может быть использован в качестве моста для обеспечения коммуникации между компонентами, которые были реализованы с помощью различных языков программирования, путем управления межкомпонентной связью.
Это приводит к тому, что такое приложение будет просто интегрировать с внешними системами и не нужно будет создавать дополнительные функции для упрощения процесса коммуникации или беспокоиться о последствиях нарушения безопасности. Мы можем просто опубликовать сообщение в теме и позволить внешнему приложению подписаться на эту тему, тем самым пропадает необходимость прямого взаимодействия с основным приложением.
Повышенная масштабируемость и надежность
Этот шаблон обмена сообщениями считается эластичным – не нужно заранее определять количество издателей или подписчиков. Их можно просто по необходимости добавить в нужную тему.
Тот факт, что коммуникация и логика приложения разделены, упрощает процесс устранения неисправностей, так как разработчики могут сосредоточиться на каком-то конкретном компоненте и не беспокоиться о том, что это может как-то повлиять на остальную часть приложения.
Шаблон Pub/Sub также улучшает масштабируемость приложения, так как позволяет менять архитектуру брокеров сообщений, фильтры и пользователей и не затрагивать при этом базовые компоненты. В модели Pub/Sub новая реализация обмена сообщениями в случае, если форматы сообщений совместимы даже со сложными изменениями в архитектуре, – это просто вопрос изменение темы.
Улучшенная способность к тестированию
В связи с тем, что приложение является модульным, тесты могут быть направлены на каждый модуль в отдельности, обеспечивая тем самым более оптимизированный процесс тестирования. Сосредоточенность на каждом отдельном компоненте приложения значительно снижает сложность тестовых сценариев.
Также шаблон Pub/Sub позволяет легко определить источник и адресат данных и информационный поток. Это особенно полезно, когда вы тестируете вопросы, связанные с:
повреждением данных;
форматированием;
безопасностью.
Недостатки шаблона Pub/Sub
Pub/Sub – это надежная служба обмена сообщениями, но она не всегда соответствует всем требованиям. Давайте кратко рассмотрим некоторые недостатки этого шаблона.
Излишняя сложность в небольших системах
Pub/Sub требует правильной настройки и сопровождения. Если масштабируемость и несвязность компонентов не являются жизненно важными аспектами для вашего приложения, то внедрение такого шаблона, как Pub/Sub, будет пустой тратой ресурсов и добавит небольшой системе излишнюю сложность.
Потоковая передача мультимедиа
Pub/Sub не подходит для работы с медиафайлами, такими как аудио или видео, так как они требуют плавной синхронной потоковой передачи между хостом и получателем. Так как этот шаблон не поддерживает синхронную сквозную передачу данных, то обмен сообщениями Pub/Sub не стоит рассматривать для:
видео-конференций;
голосовой связи по IP-протоколу;
обычных приложений для потоковой передачи мультимедиа.
Обмен сообщениями Pub/Sub: варианты использования
Итак, когда же лучше всего использовать шаблон Pub/Sub?
Шаблон Pub/Sub можно использовать в самых различных областях для того, чтобы облегчить обмен данными в режиме реального времени и при распределенных коммуникациях. Например, ключевая сфера, которой такой шаблон только на руку, - это автоматизация.
В следующих разделах вы найдете описание самых распространенных вариантов использования шаблона Pub/Sub.
Интернет вещей
В эпоху интеллектуальных устройств нам требуется надежный и эффективный способ сбора и распространения информации. Узел управления или сервер может публиковать обновления, которые будут автоматически доставляться на все подписанные устройства Интернета вещей.
Пользовательские устройства Интернета вещей также могут выступать в роли издателей и публиковать уведомления, информацию от датчиков и т.д. в облаке, которые затем будут переданы пользователю.
Контроль системы и уведомления о событиях
Pub/Sub позволяет пользователям создавать темы для сбора сведений о системе и отправки их в интерфейсы визуализации и уведомлений.
Такой подход будет крайне полезен при работе с крупномасштабными внедрениями:
Сообщения можно группировать по категориям.
Все серверы и службы могут публиковать данные в этих общих темах; при этом не нужно создавать отдельные конвейеры уведомлений.
Можно выйти за пределы этой функциональной возможности, подписавшись на функции сопровождения или управления темой. Например, если сервер сообщает об ошибке, то он запускает функцию, которая автоматически заменит этот сервер.
Резервное копирование и репликация базы данных
Крайне важно делать резервные копии баз данных, которые распределены по разным технологиям и поставщикам. Можно настроить периодическое резервное копирование или снимки состояний с помощью планировщика задач.
А теперь давайте представим, что нам необходимо переместить эти резервные копии в другие области или облачное хранилище. В таком случае нам нужно воспользоваться шаблоном обмена сообщениями Pub/Sub, чтобы создать конвейер, который будет отправлять сообщение о завершении резервного копирования. Затем подписанная функция будет использовать это сообщение в качестве триггера, чтобы запустить процесс переноса или копирования.
Управление журналами
Шаблон Pub/Sub может выступать в роли посредник для агрегации и распространения журналов. Журналы можно собирать из нескольких мест и отправлять в подписанные службы, такие как масштабируемый поиск, или хранить их в разных местах.
Журналы можно фильтровать по вопросам, журналам аудита, уведомлениям, фоновым задачами и т.д. и направлять их подписчикам. Таким образом, можно обеспечить надлежащее управление журналами.
Службы обмена сообщениями Pub/Sub
Существует большое количество различных служб обмена сообщениями по шаблону Pub/Sub, от специализированных брокеров сообщений до облачных решений. Далее представлен список некоторых популярных служб Pub/Sub.
Apache Kafka. Kafka разработан Apache и имеет надежные функции обмена сообщениями Pub/Sub с помощью журналов регистрации сообщений.
Faye. Это простая служба Pub/Sub, которая предназначена для обеспечения работы веб-приложений с помощью серверов, разработанных для NodeJS и Ruby.
Redis. Это один из самых популярных брокеров сообщений, который поддерживает как традиционную очередь сообщений, так и реализацию шаблона Pub/Sub.
Amazon SNS. Amazon Simple Notification Service – это полностью управляемая служба, которая использует реализацию обмена сообщениями Pub/Sub.
Google Pub/Sub. GPS подходит для реализации службы обмена сообщениями Pub/Sub.
Azure Service Bus. Надежная служба обмена сообщениями (MaaS) с возможностью использования шаблона Pub/Sub.
Простой пример: обмен сообщениями Pub/Sub
Теперь, когда мы разобрались в концепции Pub/Sub, давайте рассмотрим простой пример, который иллюстрирует рабочий процесс, с помощью Google Pub/Sub. Он опубликует сообщение в теме и вызовет подписанную функцию Google для того, чтобы напечатать отправленное сообщение.
Шаг 1. Создание темы
Первый шаг – создать тему в Google Pub/Sub для того, чтобы у нас была возможность публиковать сообщения в этой теме.
Шаг 2. Настройка триггера
Необходимо перейти в созданную тему (Test_Topic) и нажать «Trigger Google Function». Таким образом вы сможете создать функцию Google, где в качестве триггера будет выступать созданная тема.
Шаг 3. Создание функции Google (print_message_pubsub_test)
На первом экране вы можете дать функции название и настроить тему в качестве триггера. Для создания функции, которая будет просто собирать передаваемые данные и отправлять их на сайт Webhook, мы будем использовать Python.
Помимо этого, для создания запроса POST для отправки данных мы будем использовать библиотеку запросов.
Фрагмент кода облачной функции:
import base64
import requests
def get_quote(event, context):
# Decode the Message Data
message = base64.b64decode(event['data']).decode('utf-8')
# Create Request
url = "https://webhook.site/xxxxxxx-xxxx-xxxx-xxxx-739c28ebd7ad"
request_headers = {"Content-type": "application/json"}
request_data = {"quote": message}
response = requests.post(url, data=request_data, headers=request_headers)
# Print Response
print(response.status_code)
print(response.text)
После того, как функция будет успешно развернута, вы увидите, что в качестве триггера функции будет указана тема Test_Topic.
Шаг 4. Настройка издателя
На этом шаге нам нужно создать простую программу на Python, которая будет выступать в роли издателя.
Воспользуемся библиотекой Google Cloud pubsub_v1 для того, чтобы создать клиента Publisher и выбрать случайную вдохновляющую цитату с сайта quotable.io. После чего мы опубликуем объединенную строку (автор и цитата) в тему (Test_Topic).
message_publish.py
from google.oauth2 import service_account
from google.cloud import pubsub_v1
import requests
# Create Authentication Credentials
project_id = "test-applications-xxxxx"
topic_id = "Test_Topic"
gcp_credentials = service_account.Credentials.from_service_account_file('test-applications-xxxx-xxxxxxxxxx.json')
# Create Publisher Client
publisher = pubsub_v1.PublisherClient(credentials=gcp_credentials)
topic_path = publisher.topic_path(project_id, topic_id)
# Get a Random Quote
response = requests.get("https://api.quotable.io/random")
json_response = response.json()
message = f"{json_response['author']} - {json_response['content']}"
# Publish the Message
data = message.encode("utf-8")
future = publisher.publish(topic_path, data)
# Print Result
print(f"Published messages to {topic_path} - {future.result()}.")
Ну вот и все! Мы успешно настроили конвейер обмена сообщениями. Когда вы запустите скрипт «message_publish», данные опубликуются в Test_Topic, запустится облачная функция Google (print_message_pubsub_test), которая отправит данные на сайт Webhook.
Здесь мы можем видеть сообщения, которые были опубликованы в теме.
В журналах облачной функции Google будет зафиксировано, что функция была запущена.
И наконец, ниже мы можем видеть все сообщения, которые получил сайт Webhook.
Выше мы рассмотрели базовую структуру любого рабочего процесса обмена сообщениями по шаблону Pub/Sub. Можно использовать его как обычный шаблон или расширить его для того, чтобы улучшить какие-то функциональные возможности.
Простые коммуникации с широкими возможностями
Шаблон обмена сообщениями Pub/Sub – это мощный, но при этом простой метод передачи информации. Он выступает в роли краеугольного камня для обеспечения работы распределенных приложений на основе микрослужб в режиме реального времени. Он управляет всем процессом обмена данными между внутренними и внешними компонентами.
Шаблон Pub/Sub можно использовать для создания асинхронных масштабируемых потоков обработки сообщений с минимальными задержками при доставке. Все это возможно благодаря всем тем преимуществам, в которых он превосходит брокеров сообщений.