По вашему запросу ничего не найдено :(
Убедитесь, что запрос написан правильно, или посмотрите другие
наши статьи:
Big Data (Большие данные) – это термин, обозначающий большое количество информации – структурированной и неструктурированной – наводняющей сферу бизнеса ежедневно. Но обилие этой информации – не самое важное, гораздо важнее то, что организации делают с ней. Большие данные анализируются для принятия решений и построения стратегий развития бизнеса.
История Больших данных
Термин «большие данные» относится к данным, настолько обильным и сложным, чей быстрый прирост сложно или невозможно обрабатывать при помощи традиционных подходов. Получение и хранение большого количества информации долгое время были камнем преткновения аналитиков, поэтому концепт больших данных набрал обороты в ранних 2000-х годах. Тогда Дуглас Б. Лейни сформулировал «правило трёх V», которое сейчас используется повсеместно, а тогда было основой концепта больших данных:
Объем (Volume): Организации получают информацию от множества источников, включая биржу, смарт-девайсы («Интернета Вещей» - IoT), промышленное оборудование, видео, социальные сети и еще ряд ресурсов. В прошлом проблемой было хранение этих данных, но бюджетные хранилища на таких платформах как Hadoop и так называемых «озерах данных» облегчили это бремя.
Скорость прироста (Velocity): С развитием Интернета Вещей, потоки информации наводнили бизнес-поле с беспрецедентной скоростью, и обрабатываться они должны своевременно. RFID-метки, сенсоры и интеллектуальные счетчики позволяют иметь дело с потоками данных в режиме почти реального времени.
Многообразие (Variety): Данные поступают во всех возможных форматах – от структурированных, числовых данных с традиционных баз, до текстовых документов, электронных писем, видео, аудио файлов и биржевых данных.
Нам, представляются релевантными еще два признака, свойственные большим данным:
Переменчивость (Variability): Вдобавок к скорости прироста и многообразию, течение потока данных непредсказуемо – оно меняется часто и значительно. Это непросто, но владельцам бизнеса необходимо знать, что находится в трендах социальных сетей и как обуздывать сезонные и тематические пики выгрузки данных.
Достоверность (Veracity): Достоверность – это качество данных. Из-за вариативности источников процесс связки, подбора, очищения и трансформации данных в системе затруднен. Бизнесам необходимо выстраивать отношения и коррелировать иерархию многочисленных ссылок на данные в единую систему. В противном случае, их данные быстро выйдут из-под контроля.
Почему важны Большие данные?
Важно не количество данных, которыми вы обладаете, а то, что вы с ними делаете. Вы можете взять информацию из любого источника и проанализировать ее, чтобы найти ответы на следующие вопросы:
Как уменьшить цены?
Как сэкономить время?
Как оптимизировать предложения и развивать свой продукт?
Как принимать мудрые решения?
Комбинируя мощные аналитические подходы и большие данные можно достичь выполнения таких бизнес-задач, как:
Определение причин провалов, выявление проблем и дефектов производства в практически реальном времени.
Генерирование купонов на распродажу в соответствии с привычками и особенностями покупателя.
Пересчет всеобщего портфолио рисков за минуты.
Предупреждение мошенничества.
Кому интересны большие данные?
Большие данные представляют собой большой интерес для производителей. Натиск Интернета Вещей и связанных с ним устройств создал мощный всплеск информации, которую организации собирают, структурируют и анализируют. Большие данные – это всегда возможность сделать большие открытия – для любой организации, крупной или нет.
Углубленное изучение требует наличия больших данных, потому что они позволяют отделить скрытые схемы от ответов на интересующие Вас вопросы без «подгонки» данных. Чем глубже вы изучаете, тем выше качество данных, тем лучше результаты.
Мотивированные данными инновации
Сегодня эксабайты больших данных открывают бесчисленные возможности улучить производство. От более точных прогнозов до повышения оперативной эффективности и улучшения впечатления покупателя – всё возможно, если использовать большие данные с умом. Аналитика – двигатель перемен, затрагивающих весь мир. Это ключ к улучшению условий жизни, исцелению болезней, защиты уязвимых слоев населения и сохранению ресурсов.
Как работать с Большими данными?
Прежде, чем большие данные начнут работать на бизнес, необходимо осознать, какой путь - источники, системы, обладателей и пользователей – проходят большие данные. Ниже приведены пять ключевых шагов к тому, чтобы стать Большим Боссом Больших Данных – структурированных, неструктурированных и полуструктурированных.
Шаг 1. Постройте стратегию больших данных
В идеале, стратегия больших данных – это план, выработанный для того, что бы Вы могли видеть все доступные пути для принятия, хранения, обработки, распределения и использования данных внутри компании и за ее пределами. Стратегия больших данных устанавливает планку для успеха бизнеса на фоне обилия информации. Разрабатывая стратегию, важно учесть существование – и будущее развитие – бизнеса, его технологий, целей и инициатив. Это призывает к тому, чтобы с большими данными обращались, как и с любым другим ценным активом, а не как с второсортным приложением.
Шаг 2. Узнайте об источниках данных
Потоки данных поступают из Интернета Вещей и сопряженных с ним устройств, вливающихся в информационные системы из умной одежды, машин, медицинских устройств, промышленного оборудования и прочего. Эту информацию можно анализировать прямо в момент поступления, решая, что из нее нужно оставить, от чего – избавиться, и что подлежит дальнейшему анализу.
Данные социальных сетей поступают из таких источников, как Facebook, YouTube, Instagram, так далее. Эта категория включает в себя огромное количество изображений, видео, голосовых, текстовых и аудио данных, пригодных для маркетинга, распродаж и поддерживающих функций. Эти данные зачастую неструктурированы или полу-структурированы, поэтому их анализ и обработка представляют собой неповторимое испытание.
Публично доступные данные поступают из массивов открытых источников, например, data.gov, которым руководит правительство США, или Всемирная книга фактов ЦРУ и Портал открытых данных ЕС.
Другие источники больших данных – такие, как «озера», облака поставщиков и покупателей.
Шаг 3. Получите доступ к большим данным, обрабатывайте их и храните
Современные компьютерные системы способны обеспечить необходимую для обработки массивов данных скорость, мощность и гибкость. Помимо надежного доступа, компании нуждаются в методиках сбора данных, проверки их качества и обеспечения управления данными, а так же их хранения и подготовки к аналитике. Некоторые данные могут храниться в локальной системе традиционных хранилищ, но существуют так же и доступные, недорогие способы хранения данных в облаках, «озерах» и Hadoop.
Шаг 4. Анализируйте
С помощью высокопроизводительных технологий, таких как грид-вычисления или in-memory аналитика, организации могут использовать все свои большие данные для анализа. Другой подход заключается в предварительном определении актуальности данных. В обоих случаях, аналитика больших данных – это ценный опыт для любой компании. Большие объемы данных все чаще используются в современных аналитических разработках, таких как искусственный интеллект.
Шаг 5. Принимайте умные, мотивированные информацией решения
Хорошо обработанные данные, которым можно доверять, позволят проводить качественный анализ, на основе которого можно принимать надежные решения. Любому бизнесу необходимо использовать большие данные и действовать, основываясь на информации, которую они предоставляют, чтобы оставаться конкурентоспособными. Принимать решения, продиктованные аналитическими результатами, а не интуицией. Преимущества таких решений очевидны. Организации, управляемые данными, работают лучше, являются более развитыми и более прибыльными.
Дальнейшие шаги
Большие данные требуют чуткого управления и поддержки продвинутых аналитических технологий. Чтобы подготовить большие данные, меняющиеся ежесекундно, для аналитической обработки, Вам необходимо получить доступ, оформить профиль, очистить данные и преобразовать их. При наличии большого количества источников, объемов и скорости прироста, подготовка данных может занимать огромное количество времени, и тут не обойтись без профессиональной помощи.
Благодаря Linux, у нас есть очень много инструментов облегчающих администрирование и диагностику сети. В этом плане команда PING является одним из самых полезных инструментов для системных и сетевых администраторов.
Сама базовая возможность этой утилиты – определить доступен ли тот или иной хост. Тем не менее в этом материале мы приведем примеры расширенных возможностей этой команды в системе Linux.
Про Linux за 5 минут | Что это или как финский студент перевернул мир?
Пайплайн CI/CD – это основа разработки программного обеспечения и один из основных компонентов конвейера DevOps. Процесс непрерывной интеграции/доставки (или развертывания) определяет ряд шагов, которые специалисты по программному обеспечению должны выполнить для создания новых программ.
Несмотря на то, что CI/CD повышает эффективность производства, этот процесс пренебрегает безопасностью. Базы данных, проприетарный код, учетные данные, ключи, учетные цифровые идентификационные данные и пароли, используемые в производственных и тестовых средах, также являются угрозой для безопасности.
Данная статья рассказывает о безопасности CI/CD, проблемах и рекомендациях по обеспечению безопасности производственного конвейера программного обеспечения.
Что такое безопасность CI/CD?
Безопасность CI/CD – это определенные шаги по защите конвейера автоматизированного производства программного обеспечения. И хотя общая безопасность производства программного обеспечения важна, линия доставки обновлений и устранений ошибок в программном обеспечении также должна быть надежной.
Пайплайн (или конвейер) CI/CD – это поток автоматической интеграции и доставки (или развертывания) приложений. Метод реализует обновления и исправления ошибок в соответствии с потребностями клиентов. Как итог, основное внимание уделяется полной автоматизации доставки программного обеспечения для непрерывного производства.
Однако в конвейере CI/CD упускается из виду его безопасность. Путем использования автоматизации тестирования и постоянного мониторинга администраторы безопасности должны проводить оценку уязвимостей на различных этапах разработки программного обеспечения.
Общие проблемы безопасности в конвейере CI/CD
Существует множество проблем безопасности, которые следует учитывать при защите конвейера CI/CD:
Серьезной проблемой является соблюдение требований к данным в непроизводственной среде. Чем больше людей работает над одним проектом, тем больше появляется возможных точек нарушения безопасности.
Необходимо выработать четко определенные правила контроля доступа и политики паролей для всех пользователей. В случае компрометации должен существовать заранее подготовленный план реагирования на различные инциденты.
Автоматизация и оркестровка занимают немалую часть программного обеспечения и для них требуются множество единичных фрагментов программного кода.
Быстро меняющаяся среда с постоянными обновлениями оставляет большой простор для различного рода инцидентов и непреднамеренных компрометаций. Лучшей политикой безопасности здесь будет встраивание безопасности непосредственно в конвейер.
Рекомендации по обеспечению безопасности конвейера CI/CD
Наилучшие методы обеспечения безопасности CI/CD зависят от инфраструктуры DevOps. Ниже приведены десять основных руководств по защите конвейера при работе в среде CI/CD.
1. Моделирование угроз безопасности
Проведите исследование в области потенциальных угроз безопасности. Определите точки, где необходимо обеспечить дополнительные уровни безопасности, попробуйте смоделировать эти угрозы и разработайте упражнения для повышения уровня информированности о потенциальных проблемах безопасности.
Большинство угроз безопасности находятся в точках стыковки. Все, что подключается к конвейеру, должно регулярно исправляться и обновляться. Блокируйте любые устройства, не соответствующие требованиям безопасности.
2. Проверка безопасности до фиксации
Проводите проверки безопасности до фиксации кода в системе контроля версий. Большинство IDE предоставляют подключаемые модули безопасности и предупреждают об уязвимостях кода по мере его ввода.
Проводите независимую оценку работ неопытных разработчиков перед отправкой кода в Git. Используйте небольшие фрагменты программного кода и список контрольных вопросов, чтобы убедиться в том, что код соответствует всем протоколам и стандартам безопасности. Помимо этого, избегайте копирования и публикации ключей API, токенов и других конфиденциальных данных.
3. Проверяйте зафиксированный код
После фиксации кода проверьте его еще раз, чтобы убедиться в том, что все в порядке. Используйте инструменты статистического анализа кода, чтобы получить отчет об ошибках. Инструменты анализа не требуют, чтобы приложение было запущено, а многие их них вместе с отчетом предоставляют полезные советы.
Отправьте отчеты о сканировании кода в службу безопасности, чтобы узнать, требуется ли какая-либо доработка. Используйте системы отслеживания ошибок и регистрируйте результаты, чтобы вы могли убедиться, что все ошибки исправлены. Кроме того, проанализируйте историю Git на предмет подозрительных действий.
4. Защитите свой Git
Git – это приоритетная цель для хакеров. Убедитесь в том, что разработчики осведомлены о том, как использовать Git, и постоянно информируются о действиях компании.
Используйте файл .gitignore, чтобы исключить случайную фиксацию стандартных и сгенерированных кэшированных файлов. Имейте локально сохраненную и защищенную резервную копию
5. Проверяйте наличие уязвимостей в библиотеках с открытым исходным кодом
Библиотеки с открытым исходным кодом – это важный компонент при создании приложений. Однако программное обеспечение сторонних разработчиков может быть подвержено изменениям кода, что может косвенно повлиять на безопасность вашего приложения.
Обязательно анализируйте и сканируйте пакеты с открытым исходным кодом на наличие известных проблем безопасности. Используйте инструменты анализа композиции программного обеспечения для анализа стороннего программного обеспечения, компонентов или файлов.
И в конце пометьте все выявленные проблемы, чтобы сохранить качество кода на максимальном уровне.
6. Автоматизируйте обеспечение безопасности с помощью IaC
Инфраструктура, представленная как код (IaC) обеспечивает согласованные условия разработки и тестирования. В отличие от ручной настройки среды инструменты IaC, такие как Ansible, Terraform или Puppet, помогают автоматически обеспечивать безопасность инфраструктуры.
Дополнительное преимущество заключается в том, что IaC безупречно работает в цепочке инструментов DevOps. Постоянное тестирование конфигураций многократного применения и обеспечение исполнения установленных процедур гарантируют отличные производственные результаты и высокое качество программного обеспечения.
7. Мониторинг приложения после развертывания
После развертывания приложения постоянно сканируйте его и контролируйте с целью предотвратить любые угрозы. Мониторинг помогает отслеживать и устранять подозрительную активность на основе предоставляемых данных.
Используйте такие инструменты, как Grafana или Kibana, для создания интерактивных визуальных информационных панелей, чтобы получать уведомления о любых подозрительных действиях.
8. Распределите задачи и создайте ролевую модель доступа
Наделение пользователей правами доступа может замедлить и даже помешать процессу тестирования. Тем не менее, установление и применение ролевой модели доступа для выполнения только основных задач имеет решающее значение с точки зрения безопасности.
Когда дело доходит до Git, определите роли доступа для каждого репозитория и установите двухфакторную аутентификацию для каждого зафиксированного участка кода. Попробуйте применить систему разделения задач, чтобы обеспечить безопасность конвейера, сохраняя при этом непрерывную доставку.
9. Храните персональные данные в безопасности
Защитите все персональные данные, которые обеспечивают доступ к программному обеспечению и службам, такие как токены API, пароли, ключи SSH, ключи шифрования и т.д. Ненадежная защита персональных данных может дать возможность хакерам «нанести удар», что может привести к утечке данных и краже интеллектуальной собственности.
Поэтому используйте платформу управления ключами защиты для безопасного и автоматизированного доступа к ключам. Программное обеспечение обеспечивает использование учетных цифровых идентификационных данных только при явном запросе. Для управления несколькими сложными паролями используйте соответствующее программное обеспечение для управления паролями.
10. Наводите порядок
В среде CI/CD все процессы и задачи протекают быстро и без надлежащей очистки. Обязательно закрывайте все временные ресурсы, такие как виртуальные машины, контейнеры или процессы. Помимо этого, обеспечьте надлежащую безопасность в целом и удалите лишние утилиты и инструменты.
Заключение
Безопасность конвейера CI/CD – это процесс, который меняется от системы к системе. В данной статье была представлена процедура обеспечения безопасности конвейера CI/CD.