По вашему запросу ничего не найдено :(
Убедитесь, что запрос написан правильно, или посмотрите другие
наши статьи:
Обмен сообщениями Publish/Subscribe, также известный как Pub/Sub, - это асинхронный метод связи между службами, который используется в бессерверных архитектурах и архитектурах микрослужб. В целом, модель Pub/Sub включает в себя:
Издателя (publisher), который отправляет сообщение
Подписчика (subscriber), который получает сообщение через брокера сообщений
В общих чертах, что такое обмен сообщениями Pub/Sub
С учетом того, что популярность несвязных приложений и приложений на основе микрослужб только растет, критически важное значение для общей функциональности приложения имеет надлежащая коммуникация между компонентами и службами. Обмен сообщениями Pub/Sub помогает здесь в двух аспектах:
предоставляет разработчикам возможность легко и просто создавать несвязные приложения, используя надежный метод;
предоставляет пользователям возможность легко и просто создавать событийно-управляемые архитектуры.
Модель Pub/Sub позволяет асинхронно передавать сообщения в несколько разделов приложений.
Основной компонент, который обеспечивает всю эту функциональность, называется Тема (Topic). Издатель отправляет сообщение в тему, а тема сразу же отправляет это сообщение всем подписчикам. Именно этот подход отличает модель Pub/Sub от обычных брокеров сообщений, где очередь сообщений группируется до тех пор, пока пользователь или служба не запросит и не извлечет их.
Что бы ни представляло из себя сообщение в модели Pub/Sub, оно в любом случае будет отправлено всем подписчикам. Единственное исключение – это политики для подписчиков, которые создаются пользователями и которые фильтруют сообщения.
Такой поход позволяет создавать событийно-управляемые сервисы, которые не будут требовать от подписчиков запрашивать сообщения из очереди. Также модель Pub/Sub позволяет разработчикам создавать различные отдельные функции, которые используют одно и то же сообщение (одни и те же данные) и которые могут выполняться параллельно, что дает возможность обслуживать сразу несколько подписчиков.
Шаблон Pub/Sub обособляет издателей от подписчиков для того, чтобы издатели не знали, где используется сообщение, а подписчики не знали ничего об издателе. Это способствует улучшению общей безопасности приложения.
Преимущества шаблона Pub/Sub
Распределенное приложение на основе микрослужб, которое к тому же было разработано с помощью шаблона Pub/Sub, приносит выгоду всей организации, от разработчиков программного обеспечения до инженеров, которые отвечают за контроль качества.
Ниже приведен список преимуществ шаблона Pub/Sub:
Несвязные/слабосвязные компоненты
Модель Pub/Sub позволяет легко разделить коммуникацию и логику приложения, это в свою очередь позволяет создать изолированные компоненты. Это обеспечивает:
создание модульных, более надежных и безопасных программных компонентов или модулей;
улучшение качества кода и удобство сопровождения.
Улучшенная наглядность в масштабе системы
Простота шаблона Pub/Sub позволяет пользователям легко понимать принцип работы приложения.
С помощью этого шаблона также можно создавать несвязные компоненты, которые позволяют наблюдать за информационным потоком. Мы можем точно знать, откуда идет информация и куда, без явного определения источников или адресатов в исходном коде.
Коммуникации в режиме реального времени
Pub/Sub мгновенно доставляет сообщения подписчикам с помощью push-доставки. Это делает данный подход идеальным для коммуникации в режиме, близком к режиму реального времени. Такой подход избавляет от необходимости отправки запроса для проверки наличия сообщений в очередях, в следствие чего снижается задержка доставки сообщений в приложении.
Простота разработки
Так как Pub/Sub не зависит от языка программирования, протокола или какой-то конкретной технологии, то в этот шаблон может быть интегрирован абсолютно любой поддерживаемый брокер сообщений с помощью любого языка программирования. Ко всему прочему, Pub/Sub может быть использован в качестве моста для обеспечения коммуникации между компонентами, которые были реализованы с помощью различных языков программирования, путем управления межкомпонентной связью.
Это приводит к тому, что такое приложение будет просто интегрировать с внешними системами и не нужно будет создавать дополнительные функции для упрощения процесса коммуникации или беспокоиться о последствиях нарушения безопасности. Мы можем просто опубликовать сообщение в теме и позволить внешнему приложению подписаться на эту тему, тем самым пропадает необходимость прямого взаимодействия с основным приложением.
Повышенная масштабируемость и надежность
Этот шаблон обмена сообщениями считается эластичным – не нужно заранее определять количество издателей или подписчиков. Их можно просто по необходимости добавить в нужную тему.
Тот факт, что коммуникация и логика приложения разделены, упрощает процесс устранения неисправностей, так как разработчики могут сосредоточиться на каком-то конкретном компоненте и не беспокоиться о том, что это может как-то повлиять на остальную часть приложения.
Шаблон Pub/Sub также улучшает масштабируемость приложения, так как позволяет менять архитектуру брокеров сообщений, фильтры и пользователей и не затрагивать при этом базовые компоненты. В модели Pub/Sub новая реализация обмена сообщениями в случае, если форматы сообщений совместимы даже со сложными изменениями в архитектуре, – это просто вопрос изменение темы.
Улучшенная способность к тестированию
В связи с тем, что приложение является модульным, тесты могут быть направлены на каждый модуль в отдельности, обеспечивая тем самым более оптимизированный процесс тестирования. Сосредоточенность на каждом отдельном компоненте приложения значительно снижает сложность тестовых сценариев.
Также шаблон Pub/Sub позволяет легко определить источник и адресат данных и информационный поток. Это особенно полезно, когда вы тестируете вопросы, связанные с:
повреждением данных;
форматированием;
безопасностью.
Недостатки шаблона Pub/Sub
Pub/Sub – это надежная служба обмена сообщениями, но она не всегда соответствует всем требованиям. Давайте кратко рассмотрим некоторые недостатки этого шаблона.
Излишняя сложность в небольших системах
Pub/Sub требует правильной настройки и сопровождения. Если масштабируемость и несвязность компонентов не являются жизненно важными аспектами для вашего приложения, то внедрение такого шаблона, как Pub/Sub, будет пустой тратой ресурсов и добавит небольшой системе излишнюю сложность.
Потоковая передача мультимедиа
Pub/Sub не подходит для работы с медиафайлами, такими как аудио или видео, так как они требуют плавной синхронной потоковой передачи между хостом и получателем. Так как этот шаблон не поддерживает синхронную сквозную передачу данных, то обмен сообщениями Pub/Sub не стоит рассматривать для:
видео-конференций;
голосовой связи по IP-протоколу;
обычных приложений для потоковой передачи мультимедиа.
Обмен сообщениями Pub/Sub: варианты использования
Итак, когда же лучше всего использовать шаблон Pub/Sub?
Шаблон Pub/Sub можно использовать в самых различных областях для того, чтобы облегчить обмен данными в режиме реального времени и при распределенных коммуникациях. Например, ключевая сфера, которой такой шаблон только на руку, - это автоматизация.
В следующих разделах вы найдете описание самых распространенных вариантов использования шаблона Pub/Sub.
Интернет вещей
В эпоху интеллектуальных устройств нам требуется надежный и эффективный способ сбора и распространения информации. Узел управления или сервер может публиковать обновления, которые будут автоматически доставляться на все подписанные устройства Интернета вещей.
Пользовательские устройства Интернета вещей также могут выступать в роли издателей и публиковать уведомления, информацию от датчиков и т.д. в облаке, которые затем будут переданы пользователю.
Контроль системы и уведомления о событиях
Pub/Sub позволяет пользователям создавать темы для сбора сведений о системе и отправки их в интерфейсы визуализации и уведомлений.
Такой подход будет крайне полезен при работе с крупномасштабными внедрениями:
Сообщения можно группировать по категориям.
Все серверы и службы могут публиковать данные в этих общих темах; при этом не нужно создавать отдельные конвейеры уведомлений.
Можно выйти за пределы этой функциональной возможности, подписавшись на функции сопровождения или управления темой. Например, если сервер сообщает об ошибке, то он запускает функцию, которая автоматически заменит этот сервер.
Резервное копирование и репликация базы данных
Крайне важно делать резервные копии баз данных, которые распределены по разным технологиям и поставщикам. Можно настроить периодическое резервное копирование или снимки состояний с помощью планировщика задач.
А теперь давайте представим, что нам необходимо переместить эти резервные копии в другие области или облачное хранилище. В таком случае нам нужно воспользоваться шаблоном обмена сообщениями Pub/Sub, чтобы создать конвейер, который будет отправлять сообщение о завершении резервного копирования. Затем подписанная функция будет использовать это сообщение в качестве триггера, чтобы запустить процесс переноса или копирования.
Управление журналами
Шаблон Pub/Sub может выступать в роли посредник для агрегации и распространения журналов. Журналы можно собирать из нескольких мест и отправлять в подписанные службы, такие как масштабируемый поиск, или хранить их в разных местах.
Журналы можно фильтровать по вопросам, журналам аудита, уведомлениям, фоновым задачами и т.д. и направлять их подписчикам. Таким образом, можно обеспечить надлежащее управление журналами.
Службы обмена сообщениями Pub/Sub
Существует большое количество различных служб обмена сообщениями по шаблону Pub/Sub, от специализированных брокеров сообщений до облачных решений. Далее представлен список некоторых популярных служб Pub/Sub.
Apache Kafka. Kafka разработан Apache и имеет надежные функции обмена сообщениями Pub/Sub с помощью журналов регистрации сообщений.
Faye. Это простая служба Pub/Sub, которая предназначена для обеспечения работы веб-приложений с помощью серверов, разработанных для NodeJS и Ruby.
Redis. Это один из самых популярных брокеров сообщений, который поддерживает как традиционную очередь сообщений, так и реализацию шаблона Pub/Sub.
Amazon SNS. Amazon Simple Notification Service – это полностью управляемая служба, которая использует реализацию обмена сообщениями Pub/Sub.
Google Pub/Sub. GPS подходит для реализации службы обмена сообщениями Pub/Sub.
Azure Service Bus. Надежная служба обмена сообщениями (MaaS) с возможностью использования шаблона Pub/Sub.
Простой пример: обмен сообщениями Pub/Sub
Теперь, когда мы разобрались в концепции Pub/Sub, давайте рассмотрим простой пример, который иллюстрирует рабочий процесс, с помощью Google Pub/Sub. Он опубликует сообщение в теме и вызовет подписанную функцию Google для того, чтобы напечатать отправленное сообщение.
Шаг 1. Создание темы
Первый шаг – создать тему в Google Pub/Sub для того, чтобы у нас была возможность публиковать сообщения в этой теме.
Шаг 2. Настройка триггера
Необходимо перейти в созданную тему (Test_Topic) и нажать «Trigger Google Function». Таким образом вы сможете создать функцию Google, где в качестве триггера будет выступать созданная тема.
Шаг 3. Создание функции Google (print_message_pubsub_test)
На первом экране вы можете дать функции название и настроить тему в качестве триггера. Для создания функции, которая будет просто собирать передаваемые данные и отправлять их на сайт Webhook, мы будем использовать Python.
Помимо этого, для создания запроса POST для отправки данных мы будем использовать библиотеку запросов.
Фрагмент кода облачной функции:
import base64
import requests
def get_quote(event, context):
# Decode the Message Data
message = base64.b64decode(event['data']).decode('utf-8')
# Create Request
url = "https://webhook.site/xxxxxxx-xxxx-xxxx-xxxx-739c28ebd7ad"
request_headers = {"Content-type": "application/json"}
request_data = {"quote": message}
response = requests.post(url, data=request_data, headers=request_headers)
# Print Response
print(response.status_code)
print(response.text)
После того, как функция будет успешно развернута, вы увидите, что в качестве триггера функции будет указана тема Test_Topic.
Шаг 4. Настройка издателя
На этом шаге нам нужно создать простую программу на Python, которая будет выступать в роли издателя.
Воспользуемся библиотекой Google Cloud pubsub_v1 для того, чтобы создать клиента Publisher и выбрать случайную вдохновляющую цитату с сайта quotable.io. После чего мы опубликуем объединенную строку (автор и цитата) в тему (Test_Topic).
message_publish.py
from google.oauth2 import service_account
from google.cloud import pubsub_v1
import requests
# Create Authentication Credentials
project_id = "test-applications-xxxxx"
topic_id = "Test_Topic"
gcp_credentials = service_account.Credentials.from_service_account_file('test-applications-xxxx-xxxxxxxxxx.json')
# Create Publisher Client
publisher = pubsub_v1.PublisherClient(credentials=gcp_credentials)
topic_path = publisher.topic_path(project_id, topic_id)
# Get a Random Quote
response = requests.get("https://api.quotable.io/random")
json_response = response.json()
message = f"{json_response['author']} - {json_response['content']}"
# Publish the Message
data = message.encode("utf-8")
future = publisher.publish(topic_path, data)
# Print Result
print(f"Published messages to {topic_path} - {future.result()}.")
Ну вот и все! Мы успешно настроили конвейер обмена сообщениями. Когда вы запустите скрипт «message_publish», данные опубликуются в Test_Topic, запустится облачная функция Google (print_message_pubsub_test), которая отправит данные на сайт Webhook.
Здесь мы можем видеть сообщения, которые были опубликованы в теме.
В журналах облачной функции Google будет зафиксировано, что функция была запущена.
И наконец, ниже мы можем видеть все сообщения, которые получил сайт Webhook.
Выше мы рассмотрели базовую структуру любого рабочего процесса обмена сообщениями по шаблону Pub/Sub. Можно использовать его как обычный шаблон или расширить его для того, чтобы улучшить какие-то функциональные возможности.
Простые коммуникации с широкими возможностями
Шаблон обмена сообщениями Pub/Sub – это мощный, но при этом простой метод передачи информации. Он выступает в роли краеугольного камня для обеспечения работы распределенных приложений на основе микрослужб в режиме реального времени. Он управляет всем процессом обмена данными между внутренними и внешними компонентами.
Шаблон Pub/Sub можно использовать для создания асинхронных масштабируемых потоков обработки сообщений с минимальными задержками при доставке. Все это возможно благодаря всем тем преимуществам, в которых он превосходит брокеров сообщений.
Файловые системы и UUID имеют особую взаимосвязь в системах Linux. Что это за очень длинные идентификаторы и как проследить связи между ними и разделами диска?
Файл /etc/fstab - очень важный файл в системах Linux. Он содержит информацию, которая позволяет системе подключаться к разделам диска и определять, где они должны быть смонтированы в файловой системе. Хотя этот файл играл важную роль на протяжении многих лет, его формат изменился с введением UUID и, в некоторых системах, более надежного типа файловой системы.
Вот пример файла /etc/fstab в системе Fedora:
Каждая строка в файле (кроме комментариев) представляет файловую систему и имеет шесть полей.
Описывает раздел диска
Определяет точку монтирования
Показывает тип файловой системы
Предоставляет варианты монтирования
Определяет, может ли файловая система быть выгружена (0 = нет) с помощью команды dump (не часто)
Определяет, должна ли проверка файловой системы выполняться во время загрузки (0 = нет)
Файловая система btrfs - это современная файловая система с копированием при записи (copy-on-write- CoW) для Linux, которая предоставляет расширенные функции, а также уделяет особое внимание отказоустойчивости, восстановлению и простому администрированию.
Файл /etc/fstab, показанный выше, необычен тем, что новая ОС была только недавно установлена на /dev/sda, а папка /home из системы перед обновлением (на отдельном диске) была затем перемонтирована после того, как первая ссылка на /home была закомментирована.
Что такое UUID?
Те длинные идентификаторы устройств, которые вы видите в файле /etc/fstab и которые помечены UUID (универсальный уникальный идентификатор), имеют длину 128 бит (32 шестнадцатеричных символа) и расположены в последовательности символов 8-4-4-4-12. Один из способов увидеть, как UUID соединяются с именами устройств (например, /dev/sda1), - это использовать команду blkid.
Вы также можете проверить файл by-uuid, чтобы просмотреть взаимосвязь:
Устройство 76E8-CACF, смонтированное как /dev/sdc1, - это временно используемый USB-накопитель.
Вы можете получить представление о том, как Linux генерирует UUID, выполнив команду uuidgen. Проверьте, есть ли он в вашей системе, набрав команду which uuidgen. Эти идентификаторы для всех практических целей уникальны. Когда вы введете команду uuidgen, вы получите любой из более чем 3.40 ? 1038 возможных ответов.
Использование lsblk
Еще один удобный способ просмотра файловых систем - это команда lsblk, которая дает четкое представление о том, как файловые системы связаны, а также о точках монтирования, размерах устройств и основных/второстепенных номерах устройств. Эта команда упрощает визуализацию разделов на каждом диске.
Как удалить неиспользуемые файлы в Linux? В этой статье вы узнаете, как настроить таймер, управляющий временными файлами. В большинстве современных систем Linux для оптимальной обработки требуется большое количество временных файлов и каталогов. В совокупности они могут потреблять гигабайты дискового пространства, если их не чистить часто. Поэтому необходимо удалить старые файлы, чтобы они не занимали место на диске.
Некоторые пользователи или приложения будут использовать каталог /tmp для хранения временных данных, в то время как другие используют более специфичное для задачи расположение, такое как каталоги демонов и непостоянных (volatile) пользовательских файлов в /run.
Непостоянные означает, что файлы существуют только в памяти. Если система перезагружается или происходит потеря питания, все содержимое энергозависимой памяти исчезнет.
Автоматическое очищение неиспользуемых временных файлов в Linux
В Red Hat Enterprise Linux 7 и новее включен новый инструмент systemd-tmpfiles. Этот инструмент предоставляет структурированный и настраиваемый метод управления временными каталогами и файлами.
Проверить запущенные сервисы можно командой:
$ systemctl status systemd-tmpfiles-*
? systemd-tmpfiles-setup.service - Create Volatile Files and Directories
Loaded: loaded (/usr/lib/systemd/system/systemd-tmpfiles-setup.service; static; vendor preset: disabled)
Active: active (exited) since Mon 2020-02-10 08:27:50 EAT; 1 weeks 3 days ago
Docs: man:tmpfiles.d(5)
man:systemd-tmpfiles(8)
Process: 794 ExecStart=/usr/bin/systemd-tmpfiles --create --remove --boot --exclude-prefix=/dev (code=exited, status=0/SUCCESS)
Main PID: 794 (code=exited, status=0/SUCCESS)
CGroup: /system.slice/systemd-tmpfiles-setup.service
Feb 10 08:27:50 envoy-nginx.novalocal systemd[1]: Starting Create Volatile Files and Directories...
Feb 10 08:27:50 envoy-nginx.novalocal systemd[1]: Started Create Volatile Files and Directories.
? systemd-tmpfiles-setup-dev.service - Create Static Device Nodes in /dev
Loaded: loaded (/usr/lib/systemd/system/systemd-tmpfiles-setup-dev.service; static; vendor preset: disabled)
Active: active (exited) since Mon 2020-02-10 08:27:49 EAT; 1 weeks 3 days ago
Docs: man:tmpfiles.d(5)
man:systemd-tmpfiles(8)
Process: 553 ExecStart=/usr/bin/systemd-tmpfiles --prefix=/dev --create --boot (code=exited, status=0/SUCCESS)
Main PID: 553 (code=exited, status=0/SUCCESS)
CGroup: /system.slice/systemd-tmpfiles-setup-dev.service
Feb 10 08:27:49 envoy-nginx.novalocal systemd[1]: Starting Create Static Device Nodes in /dev...
Feb 10 08:27:49 envoy-nginx.novalocal systemd[1]: Started Create Static Device Nodes in /dev.
При запуске служебного модуля systemd-tmpfiles-setup он запускает команду systemd-tmpfiles –create –remove. Команда проверяет файлы конфигурации из:
/usr/lib/tmpfiles.d/.conf
/run/tmpfiles.d/.conf
/etc/tmpfiles.d/*.conf
Если есть файлы и каталоги, отмеченные для удаления в указанных выше файлах конфигурации, они будут удалены. Для файлов и каталогов, отмеченных как для создания, они при необходимости создаются с правильными разрешениями.
Как временные файлы очищаются с помощью таймера Systemd
Блок таймера systemd, называемый systemd-tmpfiles-clean.timer, запускает службу systemd-tmpfiles-clean.service с регулярным интервалом, которая затем выполняет команду systemd-tmpfiles –clean.
В разделе [Timer] указывается, как часто следует запускать службу.
$ cat /usr/lib/systemd/system/systemd-tmpfiles-clean.timer
# This file is part of systemd.
#
# systemd is free software; you can redistribute it and/or modify it
# under the terms of the GNU Lesser General Public License as published by
# the Free Software Foundation; either version 2.1 of the License, or
# (at your option) any later version.
[Unit]
Description=Daily Cleanup of Temporary Directories
Documentation=man:tmpfiles.d(5) man:systemd-tmpfiles(8)
[Timer]
OnBootSec=15min
OnUnitActiveSec=1d
В приведенном выше примере служба systemd-tmpfiles-clean.service будет запущена через 15 минут после загрузки системы. Любой другой запуск происходит через 24 часа после последнего запуска службы. Вы можете настроить значения по своему вкусу.
Если вы внесете изменения, убедитесь, что вы перезагрузили сервис.
sudo systemctl daemon-reload
sudo systemctl enable --now systemd-tmpfiles-clean.timer
Как вручную очистить временные файлы
Давайте настроим systemd-tmpfiles для очистки каталога /mytmp. Это гарантирует, что в каталоге не будет файлов, которые не использовались последние 3 дня.
Вы можете скопировать пример файла конфигурации и обновить его - /usr/lib/tmpfiles.d/tmp.conf
Отредактируйте файл, как показано ниже.
$ sudo vim /etc/tmpfiles.d/mytmp.conf
See tmpfiles.d(5) for details
# Clear tmp directories separately, to make them easier to override
q /mytmp 1777 root root 3d
Если вы хотите, чтобы каталог существовал с правильной принадлежностью, создайте конфигурацию, как показано ниже.
d /run/mytmp 0700 root root 60s
Любой файл в этом каталоге, который остается неиспользованным в течение последних 60 секунд, должен быть очищен.
После создания файла используйте следующую команду, чтобы убедиться, что файл содержит соответствующую конфигурацию.
sudo systemd-tmpfiles --create /etc/tmpfiles.d/mytmp.conf
Если вы не видите никаких ошибок в выводе, значит, это подтверждает правильность настроек конфигурации. Вы можете вызвать ручную очистку в любое время с помощью команды:
systemd-tmpfiles --clean /etc/tmpfiles.d/mytmp.conf