По вашему запросу ничего не найдено :(
Убедитесь, что запрос написан правильно, или посмотрите другие
наши статьи:
Big Data (Большие данные) – это термин, обозначающий большое количество информации – структурированной и неструктурированной – наводняющей сферу бизнеса ежедневно. Но обилие этой информации – не самое важное, гораздо важнее то, что организации делают с ней. Большие данные анализируются для принятия решений и построения стратегий развития бизнеса.
История Больших данных
Термин «большие данные» относится к данным, настолько обильным и сложным, чей быстрый прирост сложно или невозможно обрабатывать при помощи традиционных подходов. Получение и хранение большого количества информации долгое время были камнем преткновения аналитиков, поэтому концепт больших данных набрал обороты в ранних 2000-х годах. Тогда Дуглас Б. Лейни сформулировал «правило трёх V», которое сейчас используется повсеместно, а тогда было основой концепта больших данных:
Объем (Volume): Организации получают информацию от множества источников, включая биржу, смарт-девайсы («Интернета Вещей» - IoT), промышленное оборудование, видео, социальные сети и еще ряд ресурсов. В прошлом проблемой было хранение этих данных, но бюджетные хранилища на таких платформах как Hadoop и так называемых «озерах данных» облегчили это бремя.
Скорость прироста (Velocity): С развитием Интернета Вещей, потоки информации наводнили бизнес-поле с беспрецедентной скоростью, и обрабатываться они должны своевременно. RFID-метки, сенсоры и интеллектуальные счетчики позволяют иметь дело с потоками данных в режиме почти реального времени.
Многообразие (Variety): Данные поступают во всех возможных форматах – от структурированных, числовых данных с традиционных баз, до текстовых документов, электронных писем, видео, аудио файлов и биржевых данных.
Нам, представляются релевантными еще два признака, свойственные большим данным:
Переменчивость (Variability): Вдобавок к скорости прироста и многообразию, течение потока данных непредсказуемо – оно меняется часто и значительно. Это непросто, но владельцам бизнеса необходимо знать, что находится в трендах социальных сетей и как обуздывать сезонные и тематические пики выгрузки данных.
Достоверность (Veracity): Достоверность – это качество данных. Из-за вариативности источников процесс связки, подбора, очищения и трансформации данных в системе затруднен. Бизнесам необходимо выстраивать отношения и коррелировать иерархию многочисленных ссылок на данные в единую систему. В противном случае, их данные быстро выйдут из-под контроля.
Почему важны Большие данные?
Важно не количество данных, которыми вы обладаете, а то, что вы с ними делаете. Вы можете взять информацию из любого источника и проанализировать ее, чтобы найти ответы на следующие вопросы:
Как уменьшить цены?
Как сэкономить время?
Как оптимизировать предложения и развивать свой продукт?
Как принимать мудрые решения?
Комбинируя мощные аналитические подходы и большие данные можно достичь выполнения таких бизнес-задач, как:
Определение причин провалов, выявление проблем и дефектов производства в практически реальном времени.
Генерирование купонов на распродажу в соответствии с привычками и особенностями покупателя.
Пересчет всеобщего портфолио рисков за минуты.
Предупреждение мошенничества.
Кому интересны большие данные?
Большие данные представляют собой большой интерес для производителей. Натиск Интернета Вещей и связанных с ним устройств создал мощный всплеск информации, которую организации собирают, структурируют и анализируют. Большие данные – это всегда возможность сделать большие открытия – для любой организации, крупной или нет.
Углубленное изучение требует наличия больших данных, потому что они позволяют отделить скрытые схемы от ответов на интересующие Вас вопросы без «подгонки» данных. Чем глубже вы изучаете, тем выше качество данных, тем лучше результаты.
Мотивированные данными инновации
Сегодня эксабайты больших данных открывают бесчисленные возможности улучить производство. От более точных прогнозов до повышения оперативной эффективности и улучшения впечатления покупателя – всё возможно, если использовать большие данные с умом. Аналитика – двигатель перемен, затрагивающих весь мир. Это ключ к улучшению условий жизни, исцелению болезней, защиты уязвимых слоев населения и сохранению ресурсов.
Как работать с Большими данными?
Прежде, чем большие данные начнут работать на бизнес, необходимо осознать, какой путь - источники, системы, обладателей и пользователей – проходят большие данные. Ниже приведены пять ключевых шагов к тому, чтобы стать Большим Боссом Больших Данных – структурированных, неструктурированных и полуструктурированных.
Шаг 1. Постройте стратегию больших данных
В идеале, стратегия больших данных – это план, выработанный для того, что бы Вы могли видеть все доступные пути для принятия, хранения, обработки, распределения и использования данных внутри компании и за ее пределами. Стратегия больших данных устанавливает планку для успеха бизнеса на фоне обилия информации. Разрабатывая стратегию, важно учесть существование – и будущее развитие – бизнеса, его технологий, целей и инициатив. Это призывает к тому, чтобы с большими данными обращались, как и с любым другим ценным активом, а не как с второсортным приложением.
Шаг 2. Узнайте об источниках данных
Потоки данных поступают из Интернета Вещей и сопряженных с ним устройств, вливающихся в информационные системы из умной одежды, машин, медицинских устройств, промышленного оборудования и прочего. Эту информацию можно анализировать прямо в момент поступления, решая, что из нее нужно оставить, от чего – избавиться, и что подлежит дальнейшему анализу.
Данные социальных сетей поступают из таких источников, как Facebook, YouTube, Instagram, так далее. Эта категория включает в себя огромное количество изображений, видео, голосовых, текстовых и аудио данных, пригодных для маркетинга, распродаж и поддерживающих функций. Эти данные зачастую неструктурированы или полу-структурированы, поэтому их анализ и обработка представляют собой неповторимое испытание.
Публично доступные данные поступают из массивов открытых источников, например, data.gov, которым руководит правительство США, или Всемирная книга фактов ЦРУ и Портал открытых данных ЕС.
Другие источники больших данных – такие, как «озера», облака поставщиков и покупателей.
Шаг 3. Получите доступ к большим данным, обрабатывайте их и храните
Современные компьютерные системы способны обеспечить необходимую для обработки массивов данных скорость, мощность и гибкость. Помимо надежного доступа, компании нуждаются в методиках сбора данных, проверки их качества и обеспечения управления данными, а так же их хранения и подготовки к аналитике. Некоторые данные могут храниться в локальной системе традиционных хранилищ, но существуют так же и доступные, недорогие способы хранения данных в облаках, «озерах» и Hadoop.
Шаг 4. Анализируйте
С помощью высокопроизводительных технологий, таких как грид-вычисления или in-memory аналитика, организации могут использовать все свои большие данные для анализа. Другой подход заключается в предварительном определении актуальности данных. В обоих случаях, аналитика больших данных – это ценный опыт для любой компании. Большие объемы данных все чаще используются в современных аналитических разработках, таких как искусственный интеллект.
Шаг 5. Принимайте умные, мотивированные информацией решения
Хорошо обработанные данные, которым можно доверять, позволят проводить качественный анализ, на основе которого можно принимать надежные решения. Любому бизнесу необходимо использовать большие данные и действовать, основываясь на информации, которую они предоставляют, чтобы оставаться конкурентоспособными. Принимать решения, продиктованные аналитическими результатами, а не интуицией. Преимущества таких решений очевидны. Организации, управляемые данными, работают лучше, являются более развитыми и более прибыльными.
Дальнейшие шаги
Большие данные требуют чуткого управления и поддержки продвинутых аналитических технологий. Чтобы подготовить большие данные, меняющиеся ежесекундно, для аналитической обработки, Вам необходимо получить доступ, оформить профиль, очистить данные и преобразовать их. При наличии большого количества источников, объемов и скорости прироста, подготовка данных может занимать огромное количество времени, и тут не обойтись без профессиональной помощи.
Рассказываем про ещё один полезный инструмент на роутерах MikroTik - отправку e-mail сообщений по протоколу SMTP. Данный инструмент может быть использован для отправки на почту периодических бэкапов или же задействован для написания каких-нибудь скриптов.
В интерфейсе WinBox, утилита Email расположена в разделе Tools → Email:
Из командной строки - /tool e-mail.
Первым делом нужно настроить сервер исходящей почты по протоколу SMTP. Доступны следующие параметры настройки:
address - IPv4/v6 адрес, SMTP сервера;
from - имя или название почтового ящика, который будет показан получателю;
password - пароль, который используется для аутентификации на SMTP сервере. В этом случае аутентификации не будет шифроваться. Для включения шифрования можно использовать функцию start-tls;
port - порт SMTP сервера, по умолчанию 25;
start-tls - может принимать значения no, yes и tls-only - разрешает только TLS шифрования без поддержки SSL;
user - имя пользователя, которое будет использоваться для аутентификации на SMTP сервере.
Когда сервер будет настроен, можно начинать отправлять письма. Все параметры при отправке писем идут после команды /tool e-mail send:
body - тело письма
cc - данный параметр позволяет поставить в копию дополнительных получателей;
file - позволяет добавлять один или несколько файлов во вложении к письму;
from - название или почтовый адрес, который будет показан как отправитель. Если ничего не указано, то будет взят from, который указывался при настройке сервера SMTP;
password - пароль, который используется для аутентификации на SMTP сервере. Если ничего не указано, то будет взят password, который указывался при настройке сервера SMTP;
port - порт SMTP сервера. Если ничего не указано, то будет взят port, который указывался при настройке сервера;
server - адрес SMTP сервера. Если не указано, то используется параметр сервера, указанный при настройке;
start-tls - использовать ли TLS шифрование;
subject - тема письма;
to - адрес получателя, которому предназначено письмо;
user - имя пользователя, для аутентификации на сервере. Если не указано, то будет использоваться user из настроек сервера.
Теперь давайте применим механизм отправки писем на практике и создадим скрипт, который будет каждый день высылать файл с резервной копией конфигурации нам на почту.
Вот как настройка будет выглядеть в командной строке:
tool e-mail> set server=192.168.1.34 set port=25 from=”mnmikrotik@mndomain.ru”
Теперь добавим новый скрипт, который будет делать бэкап конфигурации роутера:
/export file=export /tool e-mail send to="mnadmin@mndomain.ru"subject="$[/system identity get name] export" body="$[/system clock get date] configuration file" file=export.rsc
Добавим скрипт на выгрузку конфигурации в планировщик:
/system scheduler add on-event="export-send" start-time=00:00:00 interval=24
Готово, теперь каждый день нам на почту mnadmin@mndomain.ru будет приходить свежая выгрузка резервной копии конфигурации нашего роутера.
Для того, чтобы настроить отправку писем на почтовый ящик, требующий TLS шифрования (как например Google mail), нужно настроить следующие параметры отправителя:
/tool e-mail set address= 192.168.1.34
set port=587
set from=mnaddress@gmail.com
set user= mikrotik
set password= supersecurepass
При отправке письма на такой ящик, необходимо указать параметр start-tls.
send to=mnadmin@mndomain.ru subject="HW!" body="Hello World!" start-tls=yes
Если Вы предпочитаете настраивать роутер с помощью интерфейса WinBox, то откройте Tools → Email и настройте параметры сервера:
Далее заходим в System → Scripts и добавляем новый скрипт на выгрузку конфигурации:
Добавляем скрипт в планировщик, чтобы он срабатывал каждый день:
В сегодняшней статье мы опишем процесс установки Proxmox Virtual Environment (VE) — систему управления виртуализации с открытым кодом, которая базируется на QEMU/KVM и LXC. Данное решение позволяет вам управлять виртуальными машинами, контейнерами, отказоустойчивыми кластерами, СХД и прочие — все это с помощью веб-интерфейса или CLI. Чтобы было понятнее — Proxmox VE это альтернатива c открытым программным кодом таким продуктам как VMware vSphere, Microsoft Hyper-V или Citrix XenServer.
Важное уточнение — согласно лицензии GNU AGPL v3 данное ПО является бесплатным, но, есть возможность купить подписку. Подписка дает следующие преимущества — поддержка от вендора/коммьюнити (в зависимости от выбранного плана), доступ к репозиторию и так далее. Скачать данную платформу можно по следующей ссылке: https://www.proxmox.com/en/downloads
Немного о системных требованиях — в идеале, требуется железный сервер, предпочтительно многопроцессорный и 8 Гб памяти для самого Proxmox и остальное — для гостевых машин + 2 сетевых карты.
В нашем примере мы установим Proxmox также на виртуальный сервер исключительно для демонстрации процесса установки, и выделили ему 1 Гб оперативной памяти. Список поддерживаемых браузеров включает Chrome, Mozilla Firefox, Safari и IE (актуальные версии).
Установка
Итак, вы скачали ISO-file по ссылке выше, запустили виртуальную машину и должны увидеть следующее:
Кликаем на Install Proxmox VE. После этого появится черный экран с различной информацией, затем (в моем случае, из-за установки на виртуальную машину) появиться предупреждение об отсутствии поддержки виртуализации, и, наконец, откроется окно с установкой и EULA:
Читаем, и, надеюсь, соглашаемся с лицензионным соглашением и кликаем Agree:
Затем, нам предлагают выбрать диск для установки — выбираем и кликаем Next:
Выбираем страну и часовой пояс и кликаем далее:
Затем придумываем сложный рутовый пароль и вводим действующий емейл — на него в случае чего будут сыпаться алерты:
Указываем настройки сети — выбираем адаптер, указываем хостнейм и так далее. В моем случае я только указал иной хостнейм. Кликаем Next:
Начинается процесс установки, который занимает не более 10 минут:
Установка заканчивается, и все, что нужно сделать — это нажать Reboot.
После перезагрузки скрипт попытается извлечь установочный ISO из виртуального дисковода, и, по каким-то неясным мне причинам, на виртуальной машине Hyper-V скрипт потерпел неудачу и данный шаг пришлось выполнять руками.
После перезагрузки вы увидите адрес, по которому нужно зайти в браузере для завершения установки. В данном случае это https://192.168.1.38:8006
Появляется окно логина, с возможностью выбрать язык. Вводите логин root и пароль, который вы указывали при установке:
И, наконец, системой можно пользоваться!
К примеру, можете кликнуть на вкладку Датацентр слева и увидеть сводку информации по системе:
Примеры использования
Первым делом попробуем создать виртуальную машину (и да, алерт касаемо отсутствия поддержки виртуализации все еще висит перед глазами, но все равно интересно!).
В правом верхнем углу кликаем на кнопку Создать VM:
Задаем имя, кликаем далее, указываем всю необходимую информацию и, в конце концов нас ожидает следующее:
Как и следовало ожидать, однако…
Теперь перейдем к созданию контейнера — для этого кликните в левом верхнем углу на ваш «датацентр», затем на первое «хранилище» - в данном случае это local (merionet).
Затем кликните на кнопку Шаблоны и скачайте один из шаблонов — я для этой цели выбрал простой Debian.
Начнется процесс скачивания, по завершению которого, можно будет закрыть данное диалоговое окно. Теперь нажимаем в левом верхнем углу Создать CT
На первой вкладке указываем его хостнейм и пароль и кликаем Далее.
На скриншоте выше видны сетевые настройки, выбранные мной для примера создания контейнера.
После чего проверяем настройки и нажимаем Завершить.
Начнется процесс создания контейнера, и нужно будет буквально несколько секунд подождать.
Затем вы можете кликнуть в левом верхнем углу на него и попробовать поделать различные манипуляции! На этом все, это была статья по установке Proxmox VE на виртуальную машину и максимально базовый обзор его возможностей. В будущем у нас появятся новые статьи на эту тему, с более подробным обзором функционала данного ПО.