По вашему запросу ничего не найдено :(
Убедитесь, что запрос написан правильно, или посмотрите другие
наши статьи:
Big Data (Большие данные) – это термин, обозначающий большое количество информации – структурированной и неструктурированной – наводняющей сферу бизнеса ежедневно. Но обилие этой информации – не самое важное, гораздо важнее то, что организации делают с ней. Большие данные анализируются для принятия решений и построения стратегий развития бизнеса.
История Больших данных
Термин «большие данные» относится к данным, настолько обильным и сложным, чей быстрый прирост сложно или невозможно обрабатывать при помощи традиционных подходов. Получение и хранение большого количества информации долгое время были камнем преткновения аналитиков, поэтому концепт больших данных набрал обороты в ранних 2000-х годах. Тогда Дуглас Б. Лейни сформулировал «правило трёх V», которое сейчас используется повсеместно, а тогда было основой концепта больших данных:
Объем (Volume): Организации получают информацию от множества источников, включая биржу, смарт-девайсы («Интернета Вещей» - IoT), промышленное оборудование, видео, социальные сети и еще ряд ресурсов. В прошлом проблемой было хранение этих данных, но бюджетные хранилища на таких платформах как Hadoop и так называемых «озерах данных» облегчили это бремя.
Скорость прироста (Velocity): С развитием Интернета Вещей, потоки информации наводнили бизнес-поле с беспрецедентной скоростью, и обрабатываться они должны своевременно. RFID-метки, сенсоры и интеллектуальные счетчики позволяют иметь дело с потоками данных в режиме почти реального времени.
Многообразие (Variety): Данные поступают во всех возможных форматах – от структурированных, числовых данных с традиционных баз, до текстовых документов, электронных писем, видео, аудио файлов и биржевых данных.
Нам, представляются релевантными еще два признака, свойственные большим данным:
Переменчивость (Variability): Вдобавок к скорости прироста и многообразию, течение потока данных непредсказуемо – оно меняется часто и значительно. Это непросто, но владельцам бизнеса необходимо знать, что находится в трендах социальных сетей и как обуздывать сезонные и тематические пики выгрузки данных.
Достоверность (Veracity): Достоверность – это качество данных. Из-за вариативности источников процесс связки, подбора, очищения и трансформации данных в системе затруднен. Бизнесам необходимо выстраивать отношения и коррелировать иерархию многочисленных ссылок на данные в единую систему. В противном случае, их данные быстро выйдут из-под контроля.
Почему важны Большие данные?
Важно не количество данных, которыми вы обладаете, а то, что вы с ними делаете. Вы можете взять информацию из любого источника и проанализировать ее, чтобы найти ответы на следующие вопросы:
Как уменьшить цены?
Как сэкономить время?
Как оптимизировать предложения и развивать свой продукт?
Как принимать мудрые решения?
Комбинируя мощные аналитические подходы и большие данные можно достичь выполнения таких бизнес-задач, как:
Определение причин провалов, выявление проблем и дефектов производства в практически реальном времени.
Генерирование купонов на распродажу в соответствии с привычками и особенностями покупателя.
Пересчет всеобщего портфолио рисков за минуты.
Предупреждение мошенничества.
Кому интересны большие данные?
Большие данные представляют собой большой интерес для производителей. Натиск Интернета Вещей и связанных с ним устройств создал мощный всплеск информации, которую организации собирают, структурируют и анализируют. Большие данные – это всегда возможность сделать большие открытия – для любой организации, крупной или нет.
Углубленное изучение требует наличия больших данных, потому что они позволяют отделить скрытые схемы от ответов на интересующие Вас вопросы без «подгонки» данных. Чем глубже вы изучаете, тем выше качество данных, тем лучше результаты.
Мотивированные данными инновации
Сегодня эксабайты больших данных открывают бесчисленные возможности улучить производство. От более точных прогнозов до повышения оперативной эффективности и улучшения впечатления покупателя – всё возможно, если использовать большие данные с умом. Аналитика – двигатель перемен, затрагивающих весь мир. Это ключ к улучшению условий жизни, исцелению болезней, защиты уязвимых слоев населения и сохранению ресурсов.
Как работать с Большими данными?
Прежде, чем большие данные начнут работать на бизнес, необходимо осознать, какой путь - источники, системы, обладателей и пользователей – проходят большие данные. Ниже приведены пять ключевых шагов к тому, чтобы стать Большим Боссом Больших Данных – структурированных, неструктурированных и полуструктурированных.
Шаг 1. Постройте стратегию больших данных
В идеале, стратегия больших данных – это план, выработанный для того, что бы Вы могли видеть все доступные пути для принятия, хранения, обработки, распределения и использования данных внутри компании и за ее пределами. Стратегия больших данных устанавливает планку для успеха бизнеса на фоне обилия информации. Разрабатывая стратегию, важно учесть существование – и будущее развитие – бизнеса, его технологий, целей и инициатив. Это призывает к тому, чтобы с большими данными обращались, как и с любым другим ценным активом, а не как с второсортным приложением.
Шаг 2. Узнайте об источниках данных
Потоки данных поступают из Интернета Вещей и сопряженных с ним устройств, вливающихся в информационные системы из умной одежды, машин, медицинских устройств, промышленного оборудования и прочего. Эту информацию можно анализировать прямо в момент поступления, решая, что из нее нужно оставить, от чего – избавиться, и что подлежит дальнейшему анализу.
Данные социальных сетей поступают из таких источников, как Facebook, YouTube, Instagram, так далее. Эта категория включает в себя огромное количество изображений, видео, голосовых, текстовых и аудио данных, пригодных для маркетинга, распродаж и поддерживающих функций. Эти данные зачастую неструктурированы или полу-структурированы, поэтому их анализ и обработка представляют собой неповторимое испытание.
Публично доступные данные поступают из массивов открытых источников, например, data.gov, которым руководит правительство США, или Всемирная книга фактов ЦРУ и Портал открытых данных ЕС.
Другие источники больших данных – такие, как «озера», облака поставщиков и покупателей.
Шаг 3. Получите доступ к большим данным, обрабатывайте их и храните
Современные компьютерные системы способны обеспечить необходимую для обработки массивов данных скорость, мощность и гибкость. Помимо надежного доступа, компании нуждаются в методиках сбора данных, проверки их качества и обеспечения управления данными, а так же их хранения и подготовки к аналитике. Некоторые данные могут храниться в локальной системе традиционных хранилищ, но существуют так же и доступные, недорогие способы хранения данных в облаках, «озерах» и Hadoop.
Шаг 4. Анализируйте
С помощью высокопроизводительных технологий, таких как грид-вычисления или in-memory аналитика, организации могут использовать все свои большие данные для анализа. Другой подход заключается в предварительном определении актуальности данных. В обоих случаях, аналитика больших данных – это ценный опыт для любой компании. Большие объемы данных все чаще используются в современных аналитических разработках, таких как искусственный интеллект.
Шаг 5. Принимайте умные, мотивированные информацией решения
Хорошо обработанные данные, которым можно доверять, позволят проводить качественный анализ, на основе которого можно принимать надежные решения. Любому бизнесу необходимо использовать большие данные и действовать, основываясь на информации, которую они предоставляют, чтобы оставаться конкурентоспособными. Принимать решения, продиктованные аналитическими результатами, а не интуицией. Преимущества таких решений очевидны. Организации, управляемые данными, работают лучше, являются более развитыми и более прибыльными.
Дальнейшие шаги
Большие данные требуют чуткого управления и поддержки продвинутых аналитических технологий. Чтобы подготовить большие данные, меняющиеся ежесекундно, для аналитической обработки, Вам необходимо получить доступ, оформить профиль, очистить данные и преобразовать их. При наличии большого количества источников, объемов и скорости прироста, подготовка данных может занимать огромное количество времени, и тут не обойтись без профессиональной помощи.
Предыдущая статья из цикла про протоколы TCP/IP 4 уровня: TCP и UDP тут.
Вы должны хотя бы знать о некоторых приложениях, которые можно использовать для управления и контроля сети.
Приложение World Wide Web (WWW) используется через веб-браузеры, обращаясь к содержимому, доступному на веб-серверах. Хотя его часто называют приложением для конечного пользователя, вы можете использовать WWW для управления маршрутизатором или коммутатором. Вы включаете функцию веб-сервера в маршрутизаторе или коммутаторе и используете браузер для доступа к маршрутизатору или коммутатору.
Система доменных имен (DNS) позволяет пользователям использовать имена для обозначения компьютеров, при этом DNS используется для поиска соответствующих IP-адресов. DNS также использует модель клиент / сервер, при этом DNS-серверы контролируются сетевым персоналом, а клиентские функции DNS являются частью большинства устройств, использующих TCP / IP сегодня. Клиент просто просит DNS-сервер предоставить IP-адрес, соответствующий заданному имени.
Простой протокол управления сетью (SNMP) - это протокол прикладного уровня, используемый специально для управления сетевыми устройствами. Например, Cisco поставляет широкий спектр продуктов для управления сетью, многие из которых входят в семейство программного обеспечения для управления сетью Cisco Prime. Их можно использовать для запроса, компиляции, хранения и отображения информации о работе сети. Для запроса сетевых устройств программное обеспечение Cisco Prime в основном использует протоколы SNMP.
Традиционно для перемещения файлов на маршрутизатор или коммутатор и обратно Cisco использовала упрощенный протокол передачи файлов (TFTP). TFTP определяет протокол для базовой передачи файлов - отсюда и слово "тривиальный". В качестве альтернативы маршрутизаторы и коммутаторы могут использовать протокол передачи файлов (FTP), который является гораздо более функциональным протоколом для передачи файлов. Оба хорошо работают для перемещения файлов на устройства Cisco и из них. FTP предоставляет гораздо больше функций, что делает его хорошим выбором для конечных пользователей. Клиентские и серверные приложения TFTP очень просты, что делает их хорошими инструментами в качестве встроенных частей сетевых устройств.
Некоторые из этих приложений используют TCP, а некоторые - UDP. Например, Simple Mail Transfer Protocol (SMTP) и Post Office Protocol version 3 (POP3), которые используются для передачи почты, требуют гарантированной доставки, поэтому они используют TCP.
Независимо от того, какой протокол транспортного уровня используется, приложения используют хорошо известный номер порта, чтобы клиенты знали, к какому порту пытаться подключиться. В таблице 2 перечислены несколько популярных приложений и их известные номера портов.
Таблица № 2 Популярные приложения и их известные номера портов
Теперь почитайте о том, как происходит полный процесс установления и прекращения TCP соединения.
Вопросы безопасности преследовали Интернет вещей (Internet of Things) с самого момента изобретения. Все, от поставщиков до корпоративных пользователей и потребителей, обеспокоены тем, что их модные новые устройства и системы IoT могут быть скомпрометированы. Проблема на самом деле еще хуже, поскольку уязвимые устройства IoT могут быть взломаны и использованы в гигантских ботнетах, которые угрожают даже правильно защищенным сетям.
Но каких именно проблем и уязвимостей следует избегать при создании, развертывании или управлении системами IoT? И, что более важно, что мы можем сделать, чтобы смягчить эти проблемы?
Именно здесь вступает в действие OWASP (Open Web Application Security Project) - проект обеспечения безопасности открытых веб-приложений. По его собственным словам, «Проект Интернета вещей OWASP призван помочь производителям, разработчикам и потребителям лучше понять проблемы безопасности, связанные с Интернетом вещей, и позволяют пользователям в любом контексте принимать более обоснованные решения в области безопасности при создании, развертывании или оценке технологий IoT».
Давайте рассмотрим топ 10 уязвимостей интернета вещей.
1.Слабые, угадываемые или жестко заданные пароли
Использование легко взламываемых, общедоступных или неизменяемых учетных данных, включая бэкдоры во встроенном программном обеспечении или клиентском программном обеспечении, которое предоставляет несанкционированный доступ к развернутым системам.
Эта проблема настолько очевидна, что трудно поверить, что это все еще то, о чем мы должны думать.
2. Небезопасные сетевые сервисы
Ненужные или небезопасные сетевые службы, работающие на самом устройстве, особенно те, которые подключены к Интернету, которые ставят под угрозу конфиденциальность, целостность или подлинность или доступность информации или допускают несанкционированное удаленное управление.
3. Небезопасные экосистемные интерфейсы
Небезопасный веб-интерфейс, API бэкэнда, облачные или мобильные интерфейсы в экосистеме вне устройства, что позволяет компрометировать устройство или связанные с ним компоненты. Общие проблемы включают в себя отсутствие аутентификации или авторизации, отсутствие или слабое шифрование, а также отсутствие фильтрации ввода и вывода.
4. Отсутствие безопасных механизмов обновления
Отсутствие возможности безопасного обновления устройства. Это включает в себя отсутствие проверки прошивки на устройстве, отсутствие безопасной доставки (без шифрования при передаче), отсутствие механизмов предотвращения отката и отсутствие уведомлений об изменениях безопасности из-за обновлений.
Это постоянная проблема для приложений IoT, так как многие производители и предприятия не заботятся о будущем своих устройств и реализаций. Кроме того, это не всегда технологическая проблема. В некоторых случаях физическое расположение устройств IoT делает обновление - и ремонт или замену - серьезной проблемой.
5. Использование небезопасных или устаревших компонентов
Использование устаревших или небезопасных программных компонентов или библиотек, которые могут позволить скомпрометировать устройство. Это включает небезопасную настройку платформ операционной системы и использование сторонних программных или аппаратных компонентов из скомпрометированной цепочки поставок.
6. Недостаточная защита конфиденциальности
Личная информация пользователя, хранящаяся на устройстве или в экосистеме, которая используется небезопасно, ненадлежащим образом или без разрешения.
Очевидно, что с личной информацией нужно обращаться соответствующим образом. Но ключом здесь является «разрешение». Вы почти ничего не делаете с личной информацией, если у вас нет на это разрешения.
7. Небезопасная передача и хранение данных
Отсутствие шифрования или контроля доступа к конфиденциальным данным в любой точке экосистемы, в том числе в состоянии покоя, передачи или во время обработки.
В то время как многие поставщики IoT обращают внимание на безопасное хранение, обеспечение безопасности данных во время передачи слишком часто игнорируется.
8. Ограниченное управление устройством
Отсутствие поддержки безопасности на устройствах, развернутых в производстве, включая управление активами, управление обновлениями, безопасный вывод из эксплуатации, мониторинг систем и возможности реагирования.
Устройства IoT могут быть небольшими, недорогими и развернутыми в большом количестве, но это не означает, что вам не нужно ими управлять. Фактически, это делает управление ими более важным, чем когда-либо. Даже если это не всегда легко, дешево или удобно.
9. Небезопасные настройки по умолчанию
Устройства или системы поставляются с небезопасными настройками по умолчанию или не имеют возможности сделать систему более безопасной, ограничивая операторов от изменения конфигурации.
10. Отсутствие физического доступа
Отсутствие мер по физической защите, позволяющих потенциальным злоумышленникам получать конфиденциальную информацию, которая может помочь в будущей удаленной атаке или получить локальный контроль над устройством.
Что из этого следует?
Интернет вещей уже давно стал частью реальности, и с ним нельзя забывать о безопасности. И вопросы безопасности должны ложиться не только на плечи производителей, но и на плечи администраторов и обычных пользователей.