По вашему запросу ничего не найдено :(
Убедитесь, что запрос написан правильно, или посмотрите другие
наши статьи:
Сегодня (да прямо сейчас) создается и производится множество различной организационной техники и гаджетов, которые не могут, и не будут работать правильно, без должного программного обеспечения. И тут понеслась 🤯
Давайте по порядку
Программное обеспечение (ПО) это программа или список программ, необходимых для работы компьютера или его устройств. Во как.
Каждый день создаются все новые и новые программы, игры, дополнения, обновления. Каждый день производятся различные устройства и гаджеты, различные звуковые и видеокарты, дисководы, принтеры, и прочие. Разумеется, данные устройства не смогут работать без соответствующего программного обеспечения, которое в свою очередь устаревает и требует обновления.
Программистам ставятся различные задачи по написанию софта, но человеческий фактор всегда имеет место быть, и при написании программы могут быть допущены ошибки, из-за чего софт просто не запустится, либо выдаст ошибку, исправление которой может занять большое количество времени, что в условиях современной экономики крайне не выгодно. Да и разработчик рискует получить по ж**е от Тимлида.
Слава небесам - для упрощения и ускорения данной задачи, в 2008 году был создан Jenkins.
Jenkins система с открытым исходным кодом, то есть продукт доступен для просмотра, изучения и изменения. Кстати создан на базе Java. Дженкинс позволяет автоматизировать часть процесса разработки программного обеспечения, без участия человека. Данная система предназначена для обеспечения процесса непрерывной интеграции программного обеспечения. Воу воу.
Непрерывная интеграция (Continuous Integration, CI) это процесс разработки программного обеспечения, смысл которого заключается в постоянном соединении рабочих копий в общую линию разработки, и выполнении постоянных автоматизированных сборок проекта для быстрого выявления возможных ошибок и решения интеграционных проблем. Вот такой конвеер.
Иными словами, это создание нескольких драфтовых версий (черновиков) проекта, то есть копий, в предварительной сборке проекта.
В настоящий момент Jenkins используется практически в любой современной компании, где есть необходимость в автоматическом деплойменте (развертывании) приложений, а также в удобном управлении различного рода задач.
Для начала разберемся, что такое деплой вообще. С английского "deploy" переводится как "развертывание". И это целый процесс действий, которые делают программный продукт готовым к использованию:
выпуск;
установка;
активация;
адаптация;
обновление;
исправление ошибок и другие.
Автоматический деплой это развертывание при помощи автоматизированных решений.
Многие пользователи скажут: "Зачем нужен Jenkins, когда есть Buildbot?". У нас есть ответочка.
Основные плюсы и отличия Jenkins в том, что разобраться с ним может обычный, рядовой программист, либо менеджер не имеющий опыта в управлении. И сделает он это за короткий срок.
Конечно настроить программное обеспечение можно и в Buildbot, но для дальнейшей работы в нём необходим специально обученный человек, что не очень удобно.
При возникновении, или обнаружении, какой-либо нестандартной ошибки, Jenkins устранит эту проблему при помощи дополнительных плагинов, без привлечения помощи человека. Jenkins является бесплатным инструментом, обладающим огромными возможностями в виде тысяч плагинов, которые постоянно добавляются и обновляются.
Плагин это программный блок, который встраивается в программу и расширяет ее возможности, а так как у Jenkins очень много всевозможных плагинов, возможности такого автоматического деплоя не ограничены.
Jenkins это стандартизированная программа, осилить которую может даже специалист с небольшим бэкграундом (опытом) в IT, всего за несколько часов.
Стоит отметить основные преимущества Jenkins:
режим работы сразу в двух и более средах;
повышенная надежность развертываемого программного обеспечения;
уменьшение ошибок, связанных с человеческим фактором;
уменьшение затрат на персонал. Пока – пока операционка и косты;
упрощение рабочего процесса (нет необходимости нанимать дорогостоящую команду опытных специалистов, с Jenkins справится небольшая группа сотрудников без специальной квалификации).
Посмотрите обучающие видео на YouTube и обязательно попробуйте этот инструмент. Уверены, вы совершенно не пожалеете. Но это не точно.
В одной из вышедших ранее статей мы знакомились с инструментарием Hadoop и рассматривали процедуру развертывания кластера на базе хадуп. Сегодня мы рассмотрим сценарии использования Hadoop, иными словами зачем он нужен и в чем его польза.
Вспомним, что же такое Hadoop?
Hadoop, если говорить простым языком это набор программных решений, позволяющих осуществлять работу с так называемыми "большими данными". Большие данные, в данном контексте это гигантские объемы данных (не обязательно имеющих структуру), которые наиболее эффективно обрабатываются горизонтально масштабируемыми программами. Такие программные решения позволяют разбивать большие объемы данных на части и использовать для работы с этими элементами множество отдельных аппаратных машин, выполняющих обработку данных параллельно. Собственно, одним из таких программных решений и является Hadoop.
Благодаря широкому набору элементов для конфигурирования, Hadoop имеет очень большую гибкость, то есть этот инструмент можно настроить под множество различных задач. Стоит, однако, отметить, что наибольшую эффективность при обработке данных Hadoop имеет в сочетании с другими программными решениями (как пример можно привести SAP HANA)
Разберем наиболее часто используемые сценарии работы Hadoop. Можно использовать эту технологию в качестве базы данных, хранилища данных, инструмента обработки и анализа данных.
В качестве хранилища данных Hadoop привлекает тем, что может хранить разнородные данные из множества источников, без ограничения на типы анализа. Конкретные сценарии использования в данном случае будут таковы:
Хранение больших объемов документов: Конкретный пример поликлиники. Медицинские данные населения вполне можно считать большими данными, поскольку они должны храниться долгое время и со временем эта информация пополняется. С учетом перехода системы здравоохранения на электронный документооборот, Hadoop будет являться очень эффективным решением.
Архивы журналов электронной почты: С учетом законодательства, хранение переписки по электронной почте с последующим анализом требует эффективных решений для реализации. И здесь опять-таки Hadoop является одним из лучших вариантов.
Справочные данные: В различных отраслях человеческой деятельности для изучения используется метод сбора данных и их анализа. Например, метеостанции собирают данные о погоде, затем отправляют их в единый центр, после чего данные анализируются и составляется полная картина для отдельного региона или для всей планеты. Hadoop, в данном случае, будет эффективен, если точек сбора данных достаточно много, и поступающие данные регулярны. Решение Hadoop позволяет довольно быстро собрать данные и длительное время хранить их на серверах для дальнейшего анализа.
Социальные сети: Размещение больших данных в хранилищах Hadoop позволяет осуществить к ним быстрый доступ идеальное решение для социальных сетей.
Непрерывный сбор данных в режиме реального времени: Информация, поступающая с датчиков, сенсоров, камер видеонаблюдения и т.п. имеет огромное значение для любого современного технически ориентированного предприятия. Хранилища Hadoop эффективны и для данного сценария использования.
Также Hadoop может использоваться чисто как база данных для сторонних программных решений. В этом случае сценарии использования могут быть такими:
Извлечение и адаптация данных из других систем: В данном случае, благодаря гибкости, Hadoop может отбирать необходимые данные и интегрировать их в свои базы, для дальнейшей обработки и анализа
База данных для больших объемов информации в реальном времени: Эта возможность имеет серьезное значение для социальных сетей, где важно сохранять различные выборки данных
Предоставление доступа к Hadoop другим системам: Hadoop может эффективно интегрироваться в качестве базы данных в другие программные решения.
В виде инструмента обработки и анализа данных Hadoop так же проявляет себя очень эффективно.
Анализ рисков предприятия: Благодаря собранным данным и параллельной обработке, программа позволяет быстро просчитать риски и выявить слабые места в деятельности организации
Оперативное обновление данных: Hadoop позволяет вносить дополнительную информацию в имеющиеся данные, что позволяет устранить проблемы с нехваткой нужной информации.
Быстрое выявление различий в больших объемах схожих данных: Здесь в качестве примера можно привести сравнение расшифровок генетического кода. Использование Hadoop в разы ускоряет этот процесс.
Таким образом, можно сказать, что на текущий момент дистрибутивы Hadoop пожалуй, самый эффективный набор инструментов для обработки больших данных. А благодаря непрерывной работе над улучшением инструментария, в ближайшее время вряд ли появится что-то более эффективное.
Почитайте предыдущую статью про криптографический обмен ключами.
Предположим, вы хотите отправить большой текстовый файл или даже изображение, и позволить получателям подтвердить, что он исходит именно от вас. Что делать, если рассматриваемые данные очень большие? Или что, если данные нужно сжать для эффективной передачи? Существует естественный конфликт между криптографическими алгоритмами и сжатием. Криптографические алгоритмы пытаются произвести максимально случайный вывод, а алгоритмы сжатия пытаются воспользоваться преимуществом неслучайности данных для сжатия данных до меньшего размера. Или, возможно, вы хотите, чтобы информация была прочитана кем-либо, кто хочет ее прочитать, что означает, что не нужно ее шифровать, но вы хотите, чтобы получатели могли проверить, что вы ее передали.
Криптографические хэши предназначены для решения этих проблем. Возможно, вы уже заметили по крайней мере одно сходство между идеей хеширования и криптографического алгоритма. В частности, хэш предназначен для получения очень большого фрагмента данных и создания представления фиксированной длины, поэтому на выходе для широкого диапазона входных данных очень мало конфликтов. Это очень похоже на концепцию максимально близкого к случайному выходу для любого ввода, необходимого для криптографического алгоритма. Еще одно сходство, о котором стоит упомянуть, заключается в том, что хэш-алгоритмы и криптографические алгоритмы работают лучше с очень редко заполненным входным пространством.
Криптографический хеш просто заменяет обычную хеш-функцию криптографической функцией. В этом случае хэш может быть вычислен и отправлен вместе с данными.
Криптографические хэши могут использоваться либо с системами с симметричными ключами, либо с системами с открытым ключом, но обычно они используются с системами с открытым ключом.
Сокрытие информации о пользователе
Возвращаясь к начальным статьям, еще одна проблема безопасности - это исчерпание данных. В случае отдельных пользователей исчерпание данных можно использовать для отслеживания того, что пользователи делают, пока они находятся в сети (а не только для процессов). Например:
Если вы всегда носите с собой сотовый телефон, можно отслеживать перемещение Media Access Control (MAC), когда он перемещается между точками беспроводного подключения, чтобы отслеживать ваши физические перемещения.
Поскольку большинство потоков данных не симметричны - данные проходят через большие пакеты, а подтверждения передаются через небольшие пакеты, наблюдатель может обнаружить, когда вы выгружаете и скачиваете данные, и, возможно, даже когда вы выполняете небольшие транзакции. В сочетании с целевым сервером эта информация может дать хорошую информацию о вашем поведении как пользователя в конкретной ситуации или с течением времени. Этот и многие другие виды анализа трафика могут выполняться даже для зашифрованного трафика.
Когда вы переходите с веб-сайта на веб-сайт, наблюдатель может отслеживать, сколько времени вы тратите на каждый из них, что вы нажимаете, как вы перешли на следующий сайт, что вы искали, какие сайты вы открываете в любое время и т. д. информация может многое рассказать о вас как о личности, о том, чего вы пытаетесь достичь, и о других личных факторах.
Рандомизация MAC-адресов
Institute of Electrical and Electronic Engineers (IEEE) первоначально разработал адресное пространство MAC-48 для назначения производителями сетевых интерфейсов. Эти адреса затем будут использоваться "как есть" производителями сетевого оборудования, поэтому каждая часть оборудования будет иметь фиксированный, неизменный аппаратный адрес. Этот процесс был разработан задолго до того, как сотовые телефоны появились на горизонте, и до того, как конфиденциальность стала проблемой.
В современном мире это означает, что за одним устройством можно следить независимо от того, где оно подключено к сети. Многие пользователи считают это неприемлемым, особенно потому, что не только провайдер может отслеживать эту информацию, но и любой, кто имеет возможность прослушивать беспроводной сигнал. Один из способов решить эту проблему-позволить устройству регулярно менять свой MAC-адрес, даже, возможно, используя другой MAC-адрес в каждом пакете. Поскольку сторонний пользователь (прослушиватель) вне сети провайдера не может "угадать" следующий MAC-адрес, который будет использоваться любым устройством, он не может отслеживать конкретное устройство. Устройство, использующее рандомизацию MAC-адресов, также будет использовать другой MAC-адрес в каждой сети, к которой оно присоединяется, поэтому оно не будет отслеживаться в нескольких сетях.
Существуют атаки на рандомизацию MAC-адресов, в основном сосредоточенные вокруг аутентификации пользователя для использования сети. Большинство систем аутентификации полагаются на MAC-адрес, поскольку он запрограммирован в устройстве, чтобы идентифицировать устройство и, в свою очередь, пользователя. Как только MAC-адрес больше не является неизменным идентификатором, должно быть какое-то другое решение. Места, где рандомизация MAC-адресов может быть атакована, - это
Время (timing): если устройство собирается изменить свой MAC-адрес, оно должно каким-то образом сообщить другому абоненту беспроводного соединения об этих изменениях, чтобы канал между подключенным устройством и базовой станцией мог оставаться жизнеспособным. Должна быть какая-то согласованная система синхронизации, чтобы изменяющийся MAC-адрес мог продолжать обмен данными при изменении. Если злоумышленник может определить, когда произойдет это изменение, он сможет посмотреть в нужное время и обнаружить новый MAC-адрес, который принимает устройство.
Порядковые номера (Sequence numbers): как и во всех транспортных системах, должен быть какой-то способ определить, все ли пакеты были получены или отброшены. Злоумышленник может отслеживать порядковые номера, используемые для отслеживания доставки и подтверждения пакетов. В сочетании с только что отмеченной атакой по времени это может обеспечить довольно точную идентификацию конкретного устройства при изменении MAC-адреса.
Отпечатки информационных элементов (Information element fingerprints): каждое мобильное устройство имеет набор поддерживаемых функций, таких как установленные браузеры, расширения, приложения и дополнительное оборудование. Поскольку каждый пользователь уникален, набор приложений, которые он использует, также, вероятно, будет довольно уникальным, создавая "отпечаток" возможностей, которые будут сообщаться через информационный элемент в ответ на зонды от базовой станции.
Отпечатки идентификатора набора услуг (SSID): каждое устройство хранит список сетей, к которым оно может подключиться в настоящее время, и (потенциально) сетей, которые оно могло достичь в какой-то момент в прошлом. Этот список, вероятно, будет довольно уникальным и, следовательно, может выступать в качестве идентификатора устройства.
Хотя каждый из этих элементов может обеспечить определенный уровень уникальности на уровне устройства, комбинация этих элементов может быть очень близка к идентификации конкретного устройства достаточно часто, чтобы быть практически полезной при отслеживании любого конкретного пользователя, подключающегося к беспроводной сети.
Это не означает, что рандомизация MAC-адресов бесполезна, это скорее один шаг в сохранении конфиденциальности пользователя при подключении к беспроводной сети.
Луковая маршрутизация
Луковая маршрутизация - это механизм, используемый для маскировки пути, а также шифрования пользовательского трафика, проходящего через сеть. Рисунок 1 используется для демонстрации.
На рисунке 1 хост А хочет безопасно отправить некоторый трафик на K, чтобы ни один другой узел в сети не мог видеть соединение между хостом и сервером, и чтобы ни один злоумышленник не мог видеть открытый текст. Чтобы выполнить это с помощью луковой маршрутизации, A выполняет следующие действия:
Он использует службу для поиска набора узлов, которые могут соединяться между собой, и предоставления пути к серверу K. Предположим, что этот набор узлов включает [B, D, G], хотя на рисунке они показаны как маршрутизаторы, скорее всего, это программные маршрутизаторы, работающие на хостах, а не выделенные сетевые устройства. Хост A сначала найдет открытый ключ B и использует эту информацию для создания сеанса с шифрованием с симметричным ключом B.
Как только этот сеанс установлен, A затем найдет открытый ключ D и использует эту информацию для обмена набором симметричных ключей с D, наконец, построит сеанс с D, используя этот симметричный секретный ключ для шифрования защищенного канала. Важно отметить, что с точки зрения D, это сеанс с B, а не с A. Хост A просто инструктирует B выполнить эти действия от его имени, а не выполнять их напрямую. Это означает, что D не знает, что A является отправителем трафика, он знает только, что трафик исходит от B и передается оттуда по зашифрованному каналу.
Как только этот сеанс будет установлен, A затем проинструктирует D настроить сеанс с G таким же образом, как он проинструктировал B настроить сеанс с D. D теперь знает, что пункт назначения-G, но не знает, куда будет направлен трафик G.
У хоста A теперь есть безопасный путь к K со следующими свойствами:
Трафик между каждой парой узлов на пути шифруется с помощью другого симметричного закрытого ключа. Злоумышленник, который разрывает соединение между одной парой узлов на пути, по-прежнему не может наблюдать трафик, передаваемый между узлами в другом месте на пути.
Выходной узел, которым является G, знает пункт назначения, но не знает источник трафика.
Входной узел, которым является B, знает источник трафика, но не пункт назначения.
В такой сети только А знает полный путь между собой и местом назначения. Промежуточные узлы даже не знают, сколько узлов находится в пути-они знают о предыдущем и следующем узлах. Основная форма атаки на такую систему состоит в том, чтобы захватить как можно больше выходных узлов, чтобы вы могли наблюдать трафик, выходящий из всей сети, и соотносить его обратно в полный поток информации.
Атака "Человек посередине" (Man-in-the-Middle)
Любой вид безопасности должен не только изучать, как вы можете защитить информацию, но также учитывать различные способы, которыми вы можете вызвать сбой защиты данных. Поскольку ни одна система не является идеальной, всегда найдется способ успешно атаковать систему. Если вам известны виды атак, которые могут быть успешно запущены против системы безопасной передачи данных, вы можете попытаться спроектировать сеть и среду таким образом, чтобы предотвратить использование этих атак. Атаки "человек посередине" (MitM) достаточно распространены, и их стоит рассмотреть более подробно. Рисунок 2 демонстрирует это.
Рисунок 2-б аналогичен рисунку 2-а с одним дополнением: между хостом A и сервером C расположен хост B, который хочет начать зашифрованный сеанс. Некоторыми способами, либо подменяя IP-адрес C, либо изменяя записи службы доменных имен (DNS), чтобы имя C преобразовывалось в адрес B, или, возможно, даже изменяя систему маршрутизации, чтобы трафик, который должен быть доставлен в C, вместо этого доставлялся в B, злоумышленник заставил B принять трафик, исходящий из A и предназначенный для C. На рисунке 2-б:
Хост A отправляет полуслучайное число, называемое одноразовым номером, в C. Эту информацию получает B.
Хост B, который злоумышленник использует в качестве MitM, передает этот одноразовый номер на узел C таким образом, что создается впечатление, что пакет действительно исходит от узла A. В этот момент злоумышленник знает одноразовый идентификатор, зашифрованный A. Злоумышленник не знает закрытый ключ A, но имеет доступ ко всему, что A отправляет зашифрованным с помощью закрытого ключа A.
Сервер C также отправляет ответ с зашифрованным одноразовым случайным числом. B получает это и записывает.
Хост B передает одноразовое случайное число, полученное от C, на A. Хост A по-прежнему будет считать, что этот пакет пришел непосредственно от C.
Хост B вычисляет закрытый ключ с помощью A, как если бы это был C.
Хост B вычисляет закрытый ключ с помощью C, как если бы это был A.
Любой трафик, который A отправляет в C, будет получен B, что:
Расшифруйте данные, которые A передал, используя закрытый ключ, вычисленный на шаге 5 на рисунке 2-б.
Зашифруйте данные, которые A передал, используя закрытый ключ, вычисленный на шаге 6 на рисунке 2-б, и передайте их C.
Во время этого процесса злоумышленник на B имеет доступ ко всему потоку в виде открытого текста между A и C. Ни A, ни C не осознают, что они оба построили зашифрованный сеанс с B, а не друг с другом. Такого рода атаки MitM очень сложно предотвратить и обнаружить.