По вашему запросу ничего не найдено :(
Убедитесь, что запрос написан правильно, или посмотрите другие
наши статьи:
Давно прошли те времена, когда «база данных» представляла собой единую СУБД на основе реляционной модели данных, которую обычно устанавливали на самом мощном сервере в центре обработки данных. Такая база данных могла обслуживать все виду запросов – OLTP (On-Line Transaction Processing – обработка транзакций в режиме реального времени), OLAP (On-Line Analytical Processing – аналитическая обработка данных в режиме реального времени) – все, что нужно для бизнеса.
В настоящее время базы данных работают на самом обычном оборудовании, они также стали более сложными с точки зрения высокой доступности и более специализированными для обработки определенного типа трафика. Специализация позволяет добиться гораздо большей производительности баз данных – все оптимизировано для работы с определенным типом данных: оптимизатор, механизм хранения, даже язык может быть не SQL, как это бывает обычно. Он может быть основан на SQL с некоторыми расширениями, которые позволяют более эффективно манипулировать данными, или может быть чем-то абсолютно новым, созданным с нуля.
На сегодня мы имеем аналитические столбчатые базы данных, такие как ClickHouse или MariaDB AX, платформы обработки и анализа больших данных, такие как Hadoop, решения NoSQL, такие как MongoDB или Cassandra, хранилища данных типа «ключ-значение», такие как Redis. Мы также имеем базы данных временных рядов, такие как Prometheus или TimeScaleDB. Это именно то, на чем мы акцентируем внимание в данной статье. Базы данных временных рядов (Time Series Databases) – что это такое и зачем вам нужно еще одно хранилище данных в своей среде.
Для чего нужны базы данных временных рядов?
Как видно из названия, базы данных временных рядов предназначены для хранения данных, которые изменяются со временем. Это могут быть абсолютно любые данные, собранные с течением времени. Это могут быть метрические показатели, собранные из некоторых систем – все системы трендов являются примерами данных временных рядов.
Каждый раз, когда вы смотрите на информационные панели в ClusterControl, на самом деле вы видите визуальное представление временных рядов, хранящихся в Prometheus – базе данных временных рядов.
Временные ряды не ограничиваются метрическими показателями базы данных. Метриками может быть что угодно – изменение потока людей, входящих в торговый центр, с течением времени, изменение трафика в городе, использование общественного транспорта в течение дня, течение воды в реке или ручье, количество энергии, вырабатываемое водной установкой – все это и все остальное, что можно измерить во времени, является примером временных рядов. Такие данные можно запросить, построить, проанализировать, чтобы найти корреляционную зависимость между различными метриками.
Структура данных в базе данных временных рядов
Как вы понимаете, самая важная составляющая данных в базе данных временных рядов – это время. Существует два основных способа хранения данных. Первый способ чем-то похож на хранилище «ключ-значение» и выглядит так:
Метка времени
Метрика 1
2019-03-28 00:00:01
2356
2019-03-28 00:00:02
6874
2019-03-28 00:00:03
3245
2019-03-28 00:00:04
2340
Проще говоря, для каждой метки времени имеется некоторое значение метрики.
Второй способ подразумевает хранения большего числа показателей. Вместо того, чтобы хранить каждую метрику в отдельной таблице или коллекции, их можно хранить вместе.
Метка времени
Метрика 1
Метрика 2
Метрика 3
Метрика 4
Метрика 5
2019-03-28 00:00:01
765
873
124
98
0
2019-03-28 00:00:02
5876
765
872
7864
634
2019-03-28 00:00:03
234
7679
98
65
34
2019-03-28 00:00:04
345
3
598
0
7345
Такая структура данных, когда все метрики связаны, позволяет более эффективно запрашивать данные. Вместо того, чтобы читать несколько таблиц и объединять их для получения всех метрик, достаточно прочитать лишь одну единственную таблицу, чтобы подготовить данные к обработке и представлению.
У вас может возникнуть вопрос – что же здесь нового? Чем эта база данных отличается от обычной таблицы в MySQL или в любой другой реляционной базе данных? Да, действительно, конструкция таблиц очень похожа. Однако есть существенные различия в рабочей нагрузке, которые могут существенно повысить производительность, если хранилище данных предназначено для использования такого рода таблиц,
Временные ряды, как правило, только растут. Маловероятно, что вы будете обновлять старые данные. Чаще всего строки в таблице не удаляются, однако вам может понадобиться какая-то агрегация данных с течением времени. Если принять это при проектировании внутреннего устройства базы данных, то этот факт будет иметь существенное расхождение в сравнении со «стандартными» реляционными (и не реляционными) базами данных, предназначенными для обработки транзакций в режиме реального времени. Что здесь является наиболее важным, так это способность последовательно хранить большие объемы данных, поступающих со временем.
Можно, конечно, использовать РСУБД для хранения временных рядов, но она не оптимизирована для этого. Данные и индексы, сгенерированные на ее основе, могут стать слишком большими, и запросы будут проходить очень медленно. Механизмы хранения данных, используемые в СУБД, предназначены для хранения различных типов данных. Обычно они оптимизированы для рабочей нагрузки обработки транзакций в режиме реального времени, которая включает в себя частое изменение и удаление данных. В реляционных базах данных также часто отсутствуют специализированные функции и функции, предназначенные для обработки временных рядов. Мы уже упоминали, что вы вероятно столкнетесь с необходимостью агрегировать данные, полученные ранее какой-то временной метки. Вы также можете иметь возможность легко запускать некоторые статистические функции для ваших временных рядов, чтобы сглаживать их, определять и сравнивать тренды, интерполировать данные и многое другое. Здесь, например, вы можете найти некоторые функции, которые Prometheus предоставляет пользователям.
Примеры баз данных временных рядов
На рынке существует множество баз данных временных рядов, поэтому, естественно, что рассмотреть все мы не сможем. Но мы все же хотели привести несколько примеров баз данных временных рядов, которые, возможно, вам уже знакомы или которые вы уже, возможно, используете (сознательно или нет).
InfluxDB
InfluxDB была разработана компанией InfluxData. Это база данных временных рядов с открытым исходным кодом, написанная языке программирования Go. Хранилище данных позволяет вводить запросы данных на языке, подобном SQL, что позволяет разработчикам легко интегрировать эту базу данных в свои приложения. InfluxDB также может работать как часть коммерческого решения, которое охватывает весь стек, предназначенный для обеспечения процесса обработки данных временных рядов, полнофункциональной высоко доступной средой.
Prometheus
Prometheus – это еще один проект с отрытым исходным кодом, который также написан на языке программирования Go. Он обычно используется в качестве серверной части для различных инструментов и проектов с открытым исходным кодом, например, Percona Monitoring and Management. Prometheus также является наилучшим вариантом для ClusterControl.
Prometheus можно развернуть из ClusterControl с целью хранения данных временных рядов, собранных на серверах баз данных, контролируемых и управляемых ClusterControl:
Prometheus широко используется в мире Open Source, поэтому его довольно легко интегрировать в уже существующую среду с помощью нескольких экспортеров.
RRDtool
Это один из примеров базы данных временных рядов, которую многие используют, даже не подозревая об этом. RRDtool – это достаточно популярный проект с открытым исходным кодом для хранения и визуализации временных рядов. Если вы хоть раз использовали Cacti, то и RRDtool вы тоже использовали. Если вы разработали свое собственное решение, вполне вероятно, что и здесь вы тоже использовали RRDtool в качестве серверной части для хранения данных. Сейчас RRDtool, возможно, не так популярен, как это было в 2000-2010 годах. В те годы это был самый распространенный способ хранения временных рядов. Забавный факт – ранние версии ClusterControl использовали именно RRDtool.
TimeScale
TineScale – это база данных временных рядов, разработанная на основе PostgreSQL. Это расширение для PostgreSQL, которое использует основное хранилище данных для предоставления доступа к ним, что означает, что оно поддерживает все разновидности SQL, доступные для использования. Поскольку это расширение, то оно использует все функции и расширения PostgreSQL. Вы можете совмещать временные ряды с другими типами данных, например, объединять временные ряды с метаданными, пополняя информацией выходные данные. Вы также можете выполнить более сложную фильтрацию, используя JOIN и таблицы без временных рядов. Геоинформационное обеспечение в PostgreSQL TimeScale можно использовать для отслеживания географических местоположений с течением времени, а также использовать все возможности масштабирования, предлагаемые PostgreSQL, включая репликацию.
Timestream
Amazon Web Services также предлагает базы данных временных рядов. О Timestream было объявлено совсем недавно, в ноябре 2018 года. Она добавляет еще одно хранилище данных в портфель AWS, помогая пользователям обрабатывать временные ряды, поступающие из таких источников, как устройства Интернет вещей или отслеживаемые сервисы. Его также можно использовать для хранения метрических данных, полученных из журналов, созданных несколькими службами. Это позволяет пользователям выполнять аналитические запросы к ним, помогая понять закономерности и условия, в которых работают службы.
Tiemstream, как и большинство сервисов AWS, обеспечивает простой способ масштабирования в случае, если с течением времени возрастает потребность в хранении и анализе данных.
Как видите, вариантов баз данных временных рядов на рынке множество, и это не удивительно. В последнее время, все более популярным становится анализ временных рядов, поскольку он становится все более важных для различных бизнес-операций. К счастью, есть большое количество проектов как с открытым кодом, так и коммерческих. И с большой долей вероятности вы сможете найти инструмент, который полностью удовлетворит ваши потребности.
Во любой цепочке безопасности самым слабым звеном был и остается человек. Забывчивые сотрудники, которые пароли хранят в открытом виде, иногда даже приклеивают на монитор; любопытные пользователи, которые не прочь покликать по первой попавшейся кнопке или ссылке. Чем сидеть и ждать, когда кто-то извне взломает и потом принять меры, лучше самому выявить таких нарушителей и предотвратить взлом со всеми его последствиями.
Одной из наиболее распространённых видов атак является фишинг атака. Фишинг это такой вид атаки, когда злоумышленник создает поддельную страницу, которая точь-в-точь копирует легальный сайт. Невнимательный пользователь перейдя по поддельной ссылке попадает на эту страницу. Так как внешний вид похож на доверенный ресурс, никто не догадывается проверить URL. Далее он, как ни в чем не бывало, вводит свои данные и нажимает на соответствующую кнопку. Страница перезагружается и перебрасывает пользователя уже на реальный сайт, а последний думает, что где-то ввёл что-то неправильно и еще раз вводит. А тем временем злоумышленник уже получил нужную ему информацию. Это могут быть пароли, номера кредитных карт и т.п. Данную атаку может провернуть даже начинающий хакер. Но мы лишим его такого удовольствия и сами раскинем свою сеть и посмотрим кто туда попадётся.
В этом деле нам поможет бесплатный фреймворк gophish. Фреймворк мультиплатформенный, но я предпочитаю и советую поднять всё это на Linux машине. Подойдёт абсолютно любая версия.
Перед тем как начать, посмотрите наш ролик "Информационная безопасность компании. Никаких шуток":
Погнали. На сайте разработчика переходим по ссылке Download и качаем нужный нам дистрибутив. На Linux машину можно скачать сразу. Копируем ссылку на zip архив и в терминале вводим:
wget https://github.com/gophish/gophish/releases/download/v0.8.0/gophish-v0.8.0-linux-64bit.zip
Далее разархивируем скачанный файл:
unzip gophish-v0.8.0-linux-64bit.zip
Если в системе нет пакета unzip качаем его. Для Debian/Ubuntu
apt-get install unzip
Для RedHat/CentOS:
yum install unzip
Затем открываем файл config.json любым удобным вам редактором:
nano config.json
Меняем указанные ниже значения
admin_server.listen_url
127.0.0.1:3333
IP/Port админ панели gophish
admin_server.use_tls
False
Нужно ли защищённое соединение с админ панелью
admin_server.cert_path
example.crt
Путь к SSL сертификату
admin_server.key_path
example.key
Путь к приватному ключу SSL
phish_server.listen_url
0.0.0.0:80
IP/Port самого фишинг сервера, куда переходят пользователи по ссылке
Здесь первый параметр я поменял на 0.0.0.0:3333 так как мой сервер находится за межсетевым экраном и доступа извне туда нет. Но при необходимости можно организовать это. Также я отключил требование TLS. Во внутренней сети особой надобности в нем нет.
Далее просто запускаем файл gophish командой:
./gophish
И переходим на админскую часть нашего фишинг сервера. По умолчанию имя пользователя admin, а пароль gophish. Всё это можно потом поменять, но по порядку. При входе открывается панель, где видны проведённые атаки и результаты. Кликнув на иконке статистики можно перейти к детальным отчётам.
Тут отображается вся информация о пользователях, которые перешли по ссылке, ввели данные. Есть еще отчёт по открытым письмам, но если пользователь не кликнул на ссылку в письме и не перешёл на нашу фишинговую страницу, то это значение не меняется. Поэтому, на мой взгляд, это просто лишняя информация.
Теперь начнём непосредственно настраивать систему и готовить нашу атаку. Пойдем снизу вверх. На вкладке User Management можно создать новых пользователей. Для этого переходим на нужную страницу и нажимает на кнопку Add user:
Хотя и пользователям можно назначать права, особого смысла тут тоже нет. Потому, что пользователь, во-первых, не видит никакие кампании другого пользователя, во-вторых, имеет те же самые права, что и администратор, с тем лишь отличием, что он не может создавать других пользователей или сбрасывать их пароли. На этой всё странице интуитивно понятно, так что не буду слишком углубляться.
На вкладке Account Settings можно поменять имя пользователя пароль текущего пользователя.
Следующая вкладка Sending Profiles. Вот тут то и переходим к этапу подготовки нашей атаки. На этой странице настраиваются профили, от имени которых будет идти атака.
Вводим название профиля, e-mail, с которого будут рассылаться письма, адрес SMTP сервера и порт, имя пользователя и пароль при необходимости. Тут бы я хотел остановиться поподробней. Когда планировали свою атаку, мы решили создать почту на общедоступном почтовом ресурсе. Но там стоял лимит на число получателей, что в принципе и правильно. Поэтому первая наша кампания провалилась. И тогда мы оперативно создали новую DNS запись на нашем AD и провернули затею. Создание доменной записи я тут не буду объяснять, ибо этим занялись наши сисадмины, за что им спасибо.
Далее можно создать mail заголовки, но для тестовой среды это не критично. После ввода данных можно отправить тестовое письмо, дабы проверить работоспособность нашего профиля:
Затем переходим к созданию самой страницы. Делается это на вкладке Landing Pages. Здесь можно пойти двумя путями: сверстать свою страницу с нуля или же просто скопировать с реального сайта и подкорректировать нужное. Для этого предусмотрен очень удобный инструмент в самой системе.
Нажав на кнопку Import Site вы можете ввести URL любого сайта и фреймворк сам подтянет оттуда весь дизайн, только учтите, что для этого системе нужен доступ в интернет.
Чтобы перехватывать введённые данные, нужно поставить соответствующие галочки. Capture Submitted Data и Capture Passwords. Учтите, что пароли не шифруются и хранятся в базе системы в открытом виде!
Также не забываем прописать адрес ресурса, куда будет перенаправляться пользователь после ввода данных.
Следующий шаг создание шаблона письма, для чего переходим на страницу Email Template. Тут тоже можно и самому набрать текст или же импортировать уже готовое письмо.
Ещё один минус, нельзя вставлять фото из локального ресурса, что досадно. Можно только вставить ссылку на картинку, что в моём случае тоже не сработало картинка не открывалась.
Но есть и удобные фичи: переменные например. Ниже приведён список переменных, которые можно указать в тексте, создавая персонализированные письма.
{{.RId}}
Уникальный ID цели
{{.FirstName}}
Имя цели
{{.LastName}}
Фамилия цели
{{.Position}}
Должность
{{.Email}}
Почтовый адрес
{{.From}}
Отправитель
{{.TrackingURL}}
Ссылка отслеживания
{{.Tracker}}
Псевдоним <img src="{{.TrackingURL}}"/>
{{.URL}}
Адрес фишинг ссылки
{{.BaseURL}}
Та же фишинг ссылка, только без RID
Далее создаем пользователя или группу пользователей, которые получат наше письмо. Делается это на вкладке Users & Groups. Здесь тоже разработчики предусмотрели массовый импорт адресов. Если у вас настроен AD и Exchange Server, попросите админов отдать вам список всех акттвных пользователей в формате CSV. Затем импортируйте их в систему.
И, наконец, переходим к созданию самой атаки. Для этого переходим на вкладку Campaigns. Здесь в принципе дублируется основная панель.
Выбираем New Campaign задаём название кампании, из выпадающих списков выбираем ранее созданные шаблоны письма и фейковой страницы, указываем профиль, с которого пойдут письма, и определяем целевую группу. В URL прописываем адрес нашего сервера. Здесь можно написать и IP или же, что еще лучше, задать доменное имя, которое похоже на доверенный ресурс. В этом случае пользователь в адресной строке увидит не IP, а полноценный домен. Также можно выставить дату начала кампании. И, собственно, запускаем кампанию и ждем пока кто-то попадётся на нашу удочку.
Система заботливо показывает текущий статус отправки, и, в случае ошибки, указывает почему не удалось отправить письмо.
На этом, пожалуй все. Система очень лёгкая, интуитивно понятная. Удачи в реализации!
Вообще, трудно представить жизнь без Интернета. Почти в каждой квартире сегодня есть минимум один Интернет канал будь то оптика, ADLS, мобильный Интернет или даже спутниковый. Если раньше интернет был только на конце провода и, чтобы подключится к глобальной сети нужно было сидеть привязанным к розетке Ethernet кабеля, то сейчас эту проблему решила технология Wi-Fi. Правда, с кабелем было как-то безопаснее, а вот Wi-Fi, если его не настроить нужным образом, не обеспечит нужного уровня надёжности. Другая проблема - мощность сигнала. С кабелем такой проблемы почти нет, особенно на близких расстояниях, но радиоволны -другая природа: они очень капризны.
В этом материале речь пойдёт о том, как решить вышеуказанные проблемы. Для начала разберёмся, как и где следует устанавливать Wi-Fi маршрутизатор. В силу того, что радиоволны не очень любят помехи, а в квартире они всегда есть, то здесь нужно найти точку, где сигнал наиболее мощный. Для этого есть и специализированное оборудование, и программы, а самый доступный способ - это ноутбук. Устанавливаете туда специальное ПО, коих полно в интернете, просто в поисковике набираете Wi-Fi analyser, а затем, перемещая Wi-Fi устройство, выбираете оптимальное для вас место. На больших площадях можно подключить ещё одну Wi-Fi точку доступа, но это другая тема.
Нужно обратить внимание на то, чтобы рядом с Wi-Fi маршрутизатором не было микроволновок, Bluetooth устройств и другого оборудования, работающего на радиочастотах. Например, микроволновые печи и беспроводные гарнитуры работают на тех же частотах, что и Wi-Fi 2.4 гГц. Поэтому они потенциальная помеха для нормальной работы Wi-Fi.
Также следует иметь ввиду, что в многоквартирных домах у соседей тоже стоит Wi-Fi оборудование и, при стандартных настройках рабочие каналы этих устройств пересекаются. Это происходит из-за принципов работы самого устройства Wi-Fi. Дело в том, что основная частота в Wi-Fi маршрутизаторах делится на 13 каналов по 22 MHz каждая, а расстояние между каналами 5MHz.
Каждый канал имеет нижнюю, центральную и верхнюю частоты. Когда верхняя частота первого канала пересекается с нижней частотой второго, то получается так называемая интерференция. Но в 2.4 GHz полосе частот есть три канала, которые не пересекаются: 1, 6, 11.
Канал
Нижняя частота
Центральная частота
Верхняя частота
1
2.401
2.412
2.423
6
2.426
2.437
2.448
11
2.451
2.462
2.473
Как видно из таблицы, верхние и нижние частоты указанных каналов не имеют общих частот. Поэтому рекомендуется в настройка маршрутизатора вручную выставлять один из этих каналов. На маршрутизаторах TP-Link это делает во вкладке Беспроводной режим (внешний вид интерфейса может отличаться в зависимости от модели оборудования) :
Здесь из выпадающего списка каналов выбирается один из указанных выше. По умолчанию стоит Авто.
А теперь перейдём к настройкам подключения к Интернету и безопасности. Первым делом рекомендуем сменить имя пользователя и пароли по умолчанию. Это предотвращает несанкционированный доступ к вашему устройству. Делается это на вкладке Системные инструменты->Пароль:
Сейчас поговорим о подключении к Интернету, затем опять вернёмся к настройкам безопасности.
Почти любое оборудование предоставляет мастера настройки, который позволяет простым кликом мыши настроить доступ в глобальную сеть:
Нажимаем Далее и выставляем нужные значения. Тип подключения зависит от провайдера:
Здесь в зависимости от вида услуги отмечаете нужную опцию. Если ADSL подключение, то выбираем PPPoE/PPPoE Россия. PPPoE это сетевой протокол канального уровня. Вкратце, здесь организовывается Point-to-Point туннель поверх Ethernet, а уже в туннель инкапсулируется трафик разных протоколов, IP в том числе.
Если выбрали Динамический IP-адрес, то мастер переходит к пункту клонирование MAC адреса. Это нужно если вы уже подключались к сети провайдера напрямую через ноутбук, а теперь нужно подключить маршрутизатор. Но чаще всего эта функция не используется:
В остальных случаях нужно вводить дополнительные данные. В случае PPPoE это логин и пароль, которые вы получили у провайдера.
Далее переходим к настройке беспроводного подключения:
После этого мастер переходит к финальному пункту, где просто нужно нажать на кнопку Завершить и настройки начнут применяться.
А теперь снова о безопасности. Далее нам нужно отключить WPS. Эта функция позволяет быстро добавлять новые устройства, но такие программы как Dumpper используют эту возможность для взлома беспроводной сети.
На первом пункте вкладки Беспроводной режим убираем галочку перед Включить широковещание SSID. В этом случае маршрутизатор не будет вещать свой SSID (название Wi-Fi), тогда вам придётся вручную вводить кроме пароля еще и название сети. Больше движений, зато безопасно. Так как та же программа Dumpper не сможет обнаружить вашу сеть, что усложнит её взлом:
На пункте Защита беспроводного режима вкладки Беспроводной режим настраиваются параметры шифрования. Так как на рисунках все подробно описано, не буду вдаваться в подробности каждого пункта. Здесь установлены рекомендуемые настройки для домашней сети (пароль выбираем посложнее)
Фильтрация MAC-адресов позволяет ограничивать подключение чужих устройств к вашей беспроводной сети. Выбираем Разрешить доступ станциям, указанным во включённых списках. Затем добавляете MAC-адреса устройств, которым разрешено подключаться к сети. MAC-адреса устройств можно посмотреть в настройках самих устройств или же, если уже подключены к вашей сети, можно просмотреть на вкладке DHCP -> Список клиентов DHCP.
На вкладке Безопасность настраиваем разрешения на локальное и удалённое управление Wi-Fi маршрутизатором. Локальное управление лучше ограничивать для устройств, подключенных по Wi-Fi и разрешить только для конкретного устройства и только через физическое подключение. Для этого, если у вас есть ноутбук или ПК узнаем его MAC-адрес. На Windows машинах легче всего сделать это через командную строку набрав команду getmac.
Вписываете полученное значение в строку MAC-1:
Нажимаем сохранить и всё. Следует быть внимательным если на выводе консоли несколько значений. Если нет никаких виртуальных машин, а вы подключены через Ethernet порт, то перед MAC адресом указывается device id. Ну а если возникнут трудности можете просмотреть через Центр управления сетями и общим доступом на Панели управления, выбрав нужный адаптер и кликнув на кнопке Подробнее в открывшемся окне. Физический адрес и есть MAC-адрес.
Удалённое управление лучше отключить:
На этом, пожалуй, всё. Это базовые настройки безопасности. При необходимости можно прописать ACL (в зависимости от модели), настроить гостевую сеть, включить родительский контроль. Удачи!