По вашему запросу ничего не найдено :(
Убедитесь, что запрос написан правильно, или посмотрите другие
наши статьи:
Машинное обучение - это метод анализа данных, который автоматизирует построение аналитической модели. Это отрасль искусственного интеллекта, основанная на идее, что системы могут обучаться на основе данных, выявлять закономерности и принимать решения с минимальным вмешательством человека.
Эволюция машинного обучения
Из-за новых вычислительных технологий машинное обучение сегодня отличается от машинного обучения в прошлом. Оно основывается на распознавании образов и теории, что компьютеры могут обучаться, не будучи запрограммированы для выполнения конкретных задач; исследователи, интересующиеся искусственным интеллектом, хотели посмотреть, смогут ли компьютеры обучаться, основываясь на базе данных. Итеративный аспект машинного обучения важен, так как модели, подвергающиеся воздействию новых данных, способны самостоятельно адаптироваться. Они учатся от предыдущих вычислений для получения надежных и воспроизводимых решений и результатов.
Хотя многие алгоритмы машинного обучения существуют уже давно, способность автоматически применять сложные математические вычисления к объемным данным - снова и снова, все быстрее и быстрее - это новейшая разработка. Вот несколько широко разрекламированных примеров приложений машинного обучения, с которыми вы можете быть знакомы:
Сильно раскрученная, самоуправляемая машина Google. Суть машинного обучения.
Онлайн рекомендации, такие, как у Amazon и Netflix. Приложения машинного обучения для повседневной жизни.
Знание того, что клиенты говорят о вас в соцсетях. Машинное обучение в сочетании с созданием лингвистических правил.
Обнаружение мошенничества. Одно из наиболее очевидных, важных применений в современном мире.
Почему машинное обучение важно?
Возобновление интереса к машинному обучению обусловлено теми же факторами, которые сделали анализ данных и Байесовский анализ более популярными, чем когда-либо. Растущие объемы и разнообразие доступных данных, вычислительная обработка, которая является более дешевой и мощной; доступное хранилище для хранения данных - все эти аспекты означают, что можно быстро и автоматизировано производить модели, которые могут анализировать более объемные и сложные данные и обеспечивать быстрые и более точные результаты - даже на очень больших объемах. А благодаря созданию точных моделей у организации больше шансов определить выгодные возможности или избежать неизвестных рисков.
Что необходимо для создания эффективных систем машинного обучения?
Возможности подготовки данных.
Алгоритмы - базовый и продвинутый.
Автоматизация и итерационные процессы.
Масштабируемость.
Ансамблевое моделирование.
Интересные факты
В машинном обучении, цель называется - «ярлык».
В статистике, цель называется «зависимой переменной».
Переменная в статистике называется – «функция в машинном обучении».
Преобразование в статистике называется – «создание функции в машинном обучении».
Кто использует машинное обучение?
Большинство отраслей промышленности, работающих с большими объемами данных признали ценность технологии машинного обучения. Подбирая идеи из этих данных - часто в режиме реального времени - организации способны более эффективно работать или получить преимущество перед конкурентами.
Финансовые услуги
Банки и другие предприятия финансовой индустрии используют технологию машинного обучения для двух ключевых целей: для выявления важных данных и предотвращения мошенничества. Они могут определить инвестиционные возможности или помочь инвесторам узнать, когда торговать. Интеллектуальный анализ данных может также идентифицировать клиентов с профилями высокого риска или использовать кибер-наблюдение, чтобы точно определить признаки мошенничества.
Правительство
Правительственные учреждения, такие как общественная безопасность и коммунальные службы, особенно нуждаются в машинном обучении, поскольку у них есть несколько источников данных, из которых можно получить информацию для полного понимания. Например, анализ датчика данных определяет пути повышения эффективности и экономии средств. Машинное обучение также может помочь обнаружить мошенничество и минимизировать кражу личных данных.
Здравоохранение
Машинное обучение является быстро развивающимся направлением в отрасли здравоохранения, благодаря появлению переносных устройств и датчиков, которые могут использовать данные для оценки состояния здоровья пациента в режиме реального времени. Эта технология также может помочь медицинским экспертам анализировать данные для выявления тенденций или «красных флажков», которые могут привести к улучшению диагностики и лечения.
Розничная торговля
Веб-сайты, рекомендующие товары, которые могут вам понравиться на основе предыдущих покупок, используют машинное обучение для анализа вашей истории покупок. Ритейлеры полагаются на машинное обучение для сбора данных, их анализа и использования для персонализации процесса совершения покупок, проведения маркетинговой кампании, оптимизации цен, планирования поставок товаров, а также для понимания потребностей клиентов.
Нефть и газ
Поиск новых источников энергии. Анализ минералов в почве. Прогнозирование неисправности датчика НПЗ. Оптимизация распределения нефти, чтобы сделать ее более эффективной и рентабельной. Количество вариантов использования машинного обучения для этой отрасли огромно - и продолжает расти.
Транспорт
Анализ данных для определения закономерностей и тенденций является ключевым для транспортной отрасли, которая полагается на повышение эффективности маршрутов и прогнозирование потенциальных проблем для повышения прибыльности. Анализ данных и аспекты моделирования машинного обучения являются важными инструментами для компаний доставки, общественного транспорта и других транспортных организаций.
Каковы популярные методы машинного обучения?
Двумя наиболее широко распространенными методами машинного обучения являются контролируемое обучение и неконтролируемое обучение, но существуют и другие методы машинного обучения. Вот обзор самых популярных типов.
Контролируемое обучение
Алгоритмы контролируемого обучения изучаются с использованием маркированных примеров, таких как ввод, в котором известен желаемый результат. Например, единица оборудования может иметь точки данных, помеченные как «F» (ошибка) или «R» (работа). Алгоритм обучения получает набор входных данных вместе с соответствующими правильными выходными данными, а алгоритм обучается путем сравнения своих фактических выходных данных с правильными выходными данными, чтобы найти ошибки. Затем он соответствующим образом модифицирует модель. С помощью таких методов, как классификация, регрессия, прогнозирование и повышение градиента, контролируемое обучение использует шаблоны для прогнозирования значений метки на дополнительных немаркированных данных. Контролируемое обучение обычно используется в приложениях, где исторические данные предсказывают вероятные будущие события. Например, он может предвидеть, когда транзакции по кредитным картам могут быть мошенническими или какой клиент страхования может подать иск.
Полуконтролируемое обучение
Полуконтролируемое обучение используется для тех же приложений, что и контролируемое обучение. Но для обучения оно использует как помеченные, так и непомеченные данные, как правило, это небольшой объем помеченных данных с большим количеством немеченых данных (поскольку немеченые данные дешевле и требуют меньше усилий для их получения). Этот тип обучения может использоваться с такими методами, как классификация, регрессия и прогнозирование. Полуконтролируемое обучение полезно, когда стоимость, связанная с маркировкой, слишком высока, чтобы учесть полностью помеченный процесс обучения. Ранние примеры этого включают идентификацию лица человека по веб-камере.
Неконтролируемое обучение
Неконтролируемое обучение используется в отношении данных, которые не имеют исторических меток. Система не сказала «правильный ответ». Алгоритм должен выяснить, что показывается. Цель состоит в том, чтобы исследовать данные и найти некоторую структуру внутри. Неуправляемое обучение хорошо работает на транзакционных данных. Например, он может идентифицировать сегменты клиентов со схожими признаками, которые затем могут обрабатываться аналогично в маркетинговых кампаниях. Или он может найти основные атрибуты, которые отделяют сегменты клиентов друг от друга. Популярные методы включают самоорганизующиеся таблицы, отображение ближайших соседей, кластеризацию k-средств и разложение по сингулярным числам. Эти алгоритмы также используются для сегментирования текстовых тем, рекомендации элементов и резко отличающихся значений данных.
Усиленное обучение
Усиленное обучение часто используется для робототехники, игр и навигации. Благодаря обучению с подкреплением алгоритм с помощью проб и ошибок обнаруживает, какие действия приносят наибольшее вознаграждение. Этот тип обучения состоит из трех основных компонентов: агент (учащийся или лицо, принимающее решения), среда (все, с чем взаимодействует агент) и действия (что может делать агент). Цель состоит в том, чтобы агент выбирал действия, которые максимизируют ожидаемое вознаграждение в течение заданного периода времени. Агент достигнет цели намного быстрее, следуя хорошей политике. Таким образом, цель усиленного обучения состоит в том, чтобы изучить лучшую политику.
Каковы различия между интеллектуальным анализом данных, машинным обучением и глубоким обучением?
Хотя все эти методы имеют одну и ту же цель - извлекать идеи, шаблоны и зависимости, которые можно использовать для принятия решений - у них разные подходы и возможности.
Сбор данных (Data Mining)
Интеллектуальный анализ данных можно рассматривать как набор множества различных методов для извлечения информации из данных. Он может включать традиционные статистические методы и машинное обучение. Интеллектуальный анализ применяет методы из разных областей для выявления ранее неизвестных шаблонов из данных. Он может включать в себя статистические алгоритмы, машинное обучение, анализ текста, анализ временных рядов и другие области аналитики. Интеллектуальный анализ данных также включает изучение, практику хранения и обработки данных.
Машинное обучение
Основное отличие машинного обучения заключается в том, что, как и в статистических моделях, цель состоит в том, чтобы понять структуру данных - подогнать теоретические распределения к хорошо понятным данным. Таким образом, под статистическими моделями стоит теория, которая математически доказана, но для этого необходимо, чтобы данные также соответствовали определенным строгим гипотезам. Машинное обучение развивалось на основе способности использовать компьютеры для проверки данных на предмет структуры, даже если у нас нет теории о том, как эта структура выглядит. Испытанием модели машинного обучения является ошибка проверки новых данных, а не теоретическое испытание, которое подтверждает нулевую гипотезу. Поскольку машинное обучение часто использует итеративный подход для изучения данных, обучение может быть легко автоматизировано. Передача через данные проходит, пока не будет найден надежный шаблон.
Глубокое изучение (Deep learning)
Глубокое обучение сочетает в себе достижения в области вычислительной мощности и специальных типов нейронных сетей для изучения сложных моделей больших объемов данных. В настоящее время методы глубокого обучения подходят для идентификации объектов в изображениях и слов в звуках. В настоящее время исследователи стремятся применить эти успехи в распознавании образов для решения более сложных задач, таких как автоматический перевод языка, медицинские диагнозы и множество других важных социальных и деловых проблем.
Как это работает?
Чтобы получить максимальную отдачу от машинного обучения, вы должны знать, как сочетать лучшие алгоритмы с подходящими инструментами и процессами.
Алгоритмы: графические пользовательские интерфейсы помогают создавать модели машинного обучения и реализовывать итеративный процесс машинного обучения. Алгоритмы машинного обучения включают в себя:
Нейронные сети
Деревья решений
Случайные леса
Ассоциации и обнаружение последовательности
Градиент повышения и расфасовки
Опорные векторные машины
Отображение ближайшего соседа
K-средства кластеризации
Самоорганизующиеся карты
Методы локальной оптимизации поиска
Максимальное ожидание
Многомерные адаптивные регрессионные сплайны
Байесовские сети
Оценка плотности ядра
Анализ главных компонентов
Сингулярное разложение
Смешанные Гауссовские модели
Последовательное сопроводительное построение правил
Инструменты и процессы: Как мы уже знаем, это не просто алгоритмы. В конечном счете, секрет получения максимальной отдачи от ваших объемных данных заключается в объединении лучших алгоритмов для поставленной задачи с:
Комплексным качеством данных и их управлением
GUI для построения моделей и процессов
Интерактивным исследованием данных и визуализацией результатов модели
Сравнением различных моделей машинного обучения для быстрого определения лучшей
Автоматизированной оценкой группы для выявления лучших исполнителей
Простым развертыванием модели, что позволяет быстро получать воспроизводимые и надежные результаты
Интегрированной комплексной платформой для автоматизации процесса принятия решений
В последние годы рынок программного обеспечения прогрессирует ударными темпами. Чтобы удержаться на плаву, компании-разработчики программного обеспечения постоянно разрабатывают новые решения и совершенствуют уже существующее программное обеспечение. И если в первом случае анализируются желания, озвучиваемые пользователями, то во втором более эффективным методом сбора данных оказывается телеметрия.
Что же это такое? Говоря по-простому, сетевая телеметрия — это процесс автоматизированного сбора данных, их накопление и передача для дальнейшего анализа. Если говорить о программном обеспечении, то анализ проводится разработчиками софта с целью оптимизации существующих программ, либо разработки и внедрения новых решений. Телеметрия в сети осуществляется посредством сбора данных с использованием сетевого протокола NetFlow или его аналогов.
Зачем же нужен NetFlow?
Сетевой протокол NetFlow был разработан в конце прошлого века компанией Cisco. Изначально он использовался как программа-распределитель пакетов данных для оптимизации работы маршрутизаторов, однако с течением времени она была заменена на более эффективную программу. Тем не менее, такой функционал, как сбор полезной статистики по использованию сетевого трафика и поныне оставляет Netflow актуальным. Правда, специализация этого протокола уже не соответствует исходной. Тем не менее, Netflow обладает функционалом, который невозможно реализовать, применяя альтернативные сетевые технологии.
Система постоянного наблюдения за работой сетевых приложений и действиями пользователей;
Сбор и учет информации об использовании сетевого трафика;
Анализ и планирование развития сети;
Распределение и управление сетевым трафиком;
Изучение вопросов сетевой безопасности;
Хранение собранных посредством телеметрии данных и их итоговый анализ;
Хотя уже существуют программные решения, обладающие схожим функционалом, решение от компании Cisco до сих пор остается одним из лучших в этой сфере. Кстати, теперь это решение называется Cisco Stealthwatch и на 95% обладает функционалом для решения исключительно задач, связанных с информационной безопасностью.
Отметим, что технологию сбора данных посредством NetFlow поддерживают не все роутеры или коммутаторы. Если Ваше устройство имеет поддержку данного протокола, то оно будет замерять проходящий трафик и передавать собранные данные в NetFlow-коллектор для последующей обработки. Передача будет осуществляться в формате датаграмм протокола UDP или пакетов протокола SCTP, поэтому на скорость работы интернета существенным образом это не повлияет.
В настоящее время решения NetFlow (как и многих других приложений) подразделяются на три типа:
Базовые технологии. Отличаются низкой ценой и довольно скудным функционалом анализа сетевого трафика. Тем не менее, для большинства пользователей или же для изучения технологии этого вполне достаточно
«Продвинутые» корпоративные варианты. Здесь базовый функционал дополнен более широким набором инструментов для предоставления расширенной отчетности анализа данных. Также эти решения содержат готовые модели оптимизации для разных сетевых устройств.
«Флагманские» корпоративные решения. Отличаются наивысшей ценой, однако при этом и наиболее широким функционалом, а также позволяют осуществлять мониторинг информационной безопасности в крупных организациях.
«А как же быть с приватностью? Ведь сбор данных ставит под угрозу частную жизнь пользователей, тайну переписки, личные сообщения и прочее» - спросит беспокойный читатель. Согласно политике приватности компании Cisco, персональные данные пользователей остаются в полной безопасности. Посредством телеметрии NetFlow анализируется исключительно передача сетевого трафика, не угрожая приватности пользователей.
Примеры решений
Также приведем несколько самых популярных сетевых анализаторов, работающих под протоколом NetFlow:
Solarwinds NetFlow Traffic Analyzer – мощный инструмент для анализа динамики трафика в сети. Программа осуществляет сбор, накопление и анализ данных, выводя их в удобном для пользователя формате. При этом можно проанализировать поведение трафика за определенные временные промежутки. Для ознакомления на сайте производителя доступна бесплатная 30-дневная версия
Flowmon – программа, предоставляющая комплекс инструментов для изучения пропускной способности сети, нагрузки на сеть в определенные периоды времени, а также обеспечения безопасности сети от DDOS-атак
PRTG Network Monitor - универсальное решение для сбора, хранения и обработки данных о поведении сети. В отличие от других подобных программ, данный инструмент работает на основе сенсоров – логических единиц, отвечающих за сбор данных по определенным аспектам изучаемого устройства.
ManageEngine NetFlow Analyzer – схожая с остальными по функционалу программа. Её выделяют из ряда других такие возможности, как гибкая настройка аналитики, а так же возможность мониторить поведение сети из любого места, благодаря приложению для телефона.
Как можно заметить, все вышеуказанные программы не только обладают схожим базовым функционалом, но и конкурируют между собой, продумывая и внедряя новые технические решения. Выбор, какой из нескольких десятков программ начать пользоваться – целиком и полностью дело конечного пользователя.
В прошлой статье мы рассказывали о ресурсе HIBP, на котором можно, проверить находится ли ваш email или пароль в базе взломанных учётных данных. В этой статье расскажем о расширении от Google, которое может выполнять такую же проверку автоматически на любом сайте, где вы вводите учётные данные, используя браузер Google Chrome.
Расширение, описанное в данной статье, актуально только для пользователей браузера Google Chrome. Остальным же, мы надеемся, будет просто полезно ознакомиться с возможностями решения.
Похоже, что факт обнаружения баз слитых учёток Collection #1 и последующих более крупных Collection #2-5, не остался без внимания Google. Потому что 5 февраля (в день безопасного Интернета, кстати) они объявили о создании сразу двух расширений, которые призваны сделать процесс работы с вэб-ресурсами и приложениями ещё более безопасным. Про одно из них мы бы хотели рассказать в нашей статье.
Password Checkup
Проверяет учётные данные, которые вы вводите на каждом сайте или в приложении через Google, по базе из свыше 4 миллиардов взломанных логинов и паролей. Если расширение обнаруживает ваши логин и пароль (то есть оба типа данных, которые необходимы для получения доступа к вашему аккаунту) в списке взломанных, то оно генерирует оповещение с предложением сменить скомпрометированные данные. При этом, расширение не будет уведомлять о том, что вы используете слабый пароль или о том, что ваш старый, не актуальный пароль был скомпрометирован.
Google заявляет, что разрабатывал расширение так, чтобы учетные данные, которые вы вводите, никогда не попали не только в злоумышленникам, но и в сам Google, в этом им помогали эксперты в области криптографии Стэндфордского Университа.
Итак, как это работает? Когда вы вводите на каком-либо сайте свой логин и пароль расширение обращается к серверам Google для того, чтобы проверить находятся ли введённые учётные данные в списке скомпрометированных. При этом, в запросе не передаются сами логин и пароль. То есть расширение опрашивает сервер, не передавая туда запрашиваемую информацию. При этом, важно исключить возможность использования расширения злоумышленниками, которые будут брутить сайты и пробовать получить от расширения информацию о скомпрометированных учётках. Для этого в расширении применяется сразу несколько технологий шифрования, многоразовое хэширование вводимой информации, а также технологии Private Set Intersection (PSI) и k-annonimity.
Google имеет в своём распоряжении базу из взломанных учётных данных, содержащих около 4 миллиардов записей. Однако, это не учётные данные в открытом виде, а их захэшированная и зашифрованная копия, ключ от которой известен только Google.
Каждый раз, когда вы вводите свой логин и пароль, расширение Password Checkup будет отправлять на сервера Google захэшированную копию этих данных, ключ от которых будет известен только вам.
В свою очередь на сервере Google эта копия также будет зашифрована специальным ключом. Последнее преобразование происходит локально в самом расширении - полученная копия от Google дешифруется и если результат сходится с тем хэшом скомпрометированных учётных данных, что хранится на сервере Google - то пользователю выводится Алерт с рекомендациями по смене пароля.
Если вы пользуетесь браузером Google Chrome, то рекомендуем установить данное расширение, чтобы обезопасить свои аккаунты от доступа к ним третьих лиц. И никогда, пожалуйста, не используйте одни и те же пароли на разных сайтах.