ѕодпишитесь на наш Telegram-канал Ѕудьте в курсе последних новостей 👇 😉 ѕодписатьс€
ѕоддержим в трудное врем€ —пециальное предложение на техническую поддержку вашей »“ - инфраструктуры силами наших экспертов ѕодобрать тариф
ѕоставка оборудовани€ √аранти€ и помощь с настройкой. —кидка дл€ наших читателей по промокоду WIKIMERIONET  упить
»нтерфейс статистики Merion Mertics показывает ключевые диаграммы и графики по звонкам, а также историю звонков в формате, который легко поймет менеджер ѕопробовать бесплатно
¬недрение
офисной телефонии
Ўаг на пути к созданию доступных унифицированных коммуникаций в вашей компании ¬недрить
»нтеграци€ с CRM ѕомогаем навести пор€док с данными
и хранить их в единой экосистеме
ѕодключить
»“ Ѕезопасность ”мна€ информационна€ безопасность дл€ вашего бизнеса «аказать
ћерион Ќетворкс

10 минут чтени€

ћашинное обучение - это метод анализа данных, который автоматизирует построение аналитической модели. Ёто отрасль искусственного интеллекта, основанна€ на идее, что системы могут обучатьс€ на основе данных, вы€вл€ть закономерности и принимать решени€ с минимальным вмешательством человека.

ћашинное обучение

Ёволюци€ машинного обучени€

»з-за новых вычислительных технологий машинное обучение сегодн€ отличаетс€ от машинного обучени€ в прошлом. ќно основываетс€ на распознавании образов и теории, что компьютеры могут обучатьс€, не будучи запрограммированы дл€ выполнени€ конкретных задач; исследователи, интересующиес€ искусственным интеллектом, хотели посмотреть, смогут ли компьютеры обучатьс€, основыва€сь на базе данных. »теративный аспект машинного обучени€ важен, так как модели, подвергающиес€ воздействию новых данных, способны самосто€тельно адаптироватьс€. ќни учатс€ от предыдущих вычислений дл€ получени€ надежных и воспроизводимых решений и результатов.

’от€ многие алгоритмы машинного обучени€ существуют уже давно, способность автоматически примен€ть сложные математические вычислени€ к объемным данным - снова и снова, все быстрее и быстрее - это новейша€ разработка. ¬от несколько широко разрекламированных примеров приложений машинного обучени€, с которыми вы можете быть знакомы:

  • —ильно раскрученна€, самоуправл€ема€ машина Google. —уть машинного обучени€.
  • ќнлайн рекомендации, такие, как у Amazon и Netflix. ѕриложени€ машинного обучени€ дл€ повседневной жизни.
  • «нание того, что клиенты говор€т о вас в соцсет€х. ћашинное обучение в сочетании с созданием лингвистических правил.
  • ќбнаружение мошенничества. ќдно из наиболее очевидных, важных применений в современном мире.

ѕочему машинное обучение важно?

¬озобновление интереса к машинному обучению обусловлено теми же факторами, которые сделали анализ данных и Ѕайесовский анализ более попул€рными, чем когда-либо. –астущие объемы и разнообразие доступных данных, вычислительна€ обработка, котора€ €вл€етс€ более дешевой и мощной; доступное хранилище дл€ хранени€ данных - все эти аспекты означают, что можно быстро и автоматизировано производить модели, которые могут анализировать более объемные и сложные данные и обеспечивать быстрые и более точные результаты - даже на очень больших объемах. ј благодар€ созданию точных моделей у организации больше шансов определить выгодные возможности или избежать неизвестных рисков.

„то необходимо дл€ создани€ эффективных систем машинного обучени€?

  • ¬озможности подготовки данных.
  • јлгоритмы - базовый и продвинутый.
  • јвтоматизаци€ и итерационные процессы.
  • ћасштабируемость.
  • јнсамблевое моделирование.
»нтересные факты
  • ¬ машинном обучении, цель называетс€ - Ђ€рлыкї.
  • ¬ статистике, цель называетс€ Ђзависимой переменнойї.
  • ѕеременна€ в статистике называетс€ Ц Ђфункци€ в машинном обученииї.
  • ѕреобразование в статистике называетс€ Ц Ђсоздание функции в машинном обученииї.

 то использует машинное обучение?

Ѕольшинство отраслей промышленности, работающих с большими объемами данных признали ценность технологии машинного обучени€. ѕодбира€ идеи из этих данных - часто в режиме реального времени - организации способны более эффективно работать или получить преимущество перед конкурентами.

‘инансовые услуги

Ѕанки и другие предпри€ти€ финансовой индустрии используют технологию машинного обучени€ дл€ двух ключевых целей: дл€ вы€влени€ важных данных и предотвращени€ мошенничества. ќни могут определить инвестиционные возможности или помочь инвесторам узнать, когда торговать. »нтеллектуальный анализ данных может также идентифицировать клиентов с профил€ми высокого риска или использовать кибер-наблюдение, чтобы точно определить признаки мошенничества.

ѕравительство

ѕравительственные учреждени€, такие как общественна€ безопасность и коммунальные службы, особенно нуждаютс€ в машинном обучении, поскольку у них есть несколько источников данных, из которых можно получить информацию дл€ полного понимани€. Ќапример, анализ датчика данных определ€ет пути повышени€ эффективности и экономии средств. ћашинное обучение также может помочь обнаружить мошенничество и минимизировать кражу личных данных.

«дравоохранение

ћашинное обучение €вл€етс€ быстро развивающимс€ направлением в отрасли здравоохранени€, благодар€ по€влению переносных устройств и датчиков, которые могут использовать данные дл€ оценки состо€ни€ здоровь€ пациента в режиме реального времени. Ёта технологи€ также может помочь медицинским экспертам анализировать данные дл€ вы€влени€ тенденций или Ђкрасных флажковї, которые могут привести к улучшению диагностики и лечени€.

–ознична€ торговл€

¬еб-сайты, рекомендующие товары, которые могут вам понравитьс€ на основе предыдущих покупок, используют машинное обучение дл€ анализа вашей истории покупок. –итейлеры полагаютс€ на машинное обучение дл€ сбора данных, их анализа и использовани€ дл€ персонализации процесса совершени€ покупок, проведени€ маркетинговой кампании, оптимизации цен, планировани€ поставок товаров, а также дл€ понимани€ потребностей клиентов.

Ќефть и газ

ѕоиск новых источников энергии. јнализ минералов в почве. ѕрогнозирование неисправности датчика Ќѕ«. ќптимизаци€ распределени€ нефти, чтобы сделать ее более эффективной и рентабельной.  оличество вариантов использовани€ машинного обучени€ дл€ этой отрасли огромно - и продолжает расти.

“ранспорт

јнализ данных дл€ определени€ закономерностей и тенденций €вл€етс€ ключевым дл€ транспортной отрасли, котора€ полагаетс€ на повышение эффективности маршрутов и прогнозирование потенциальных проблем дл€ повышени€ прибыльности. јнализ данных и аспекты моделировани€ машинного обучени€ €вл€ютс€ важными инструментами дл€ компаний доставки, общественного транспорта и других транспортных организаций.


 аковы попул€рные методы машинного обучени€?

ƒвум€ наиболее широко распространенными методами машинного обучени€ €вл€ютс€ контролируемое обучение и неконтролируемое обучение, но существуют и другие методы машинного обучени€. ¬от обзор самых попул€рных типов.

 онтролируемое обучение

јлгоритмы контролируемого обучени€ изучаютс€ с использованием маркированных примеров, таких как ввод, в котором известен желаемый результат. Ќапример, единица оборудовани€ может иметь точки данных, помеченные как ЂFї (ошибка) или ЂRї (работа). јлгоритм обучени€ получает набор входных данных вместе с соответствующими правильными выходными данными, а алгоритм обучаетс€ путем сравнени€ своих фактических выходных данных с правильными выходными данными, чтобы найти ошибки. «атем он соответствующим образом модифицирует модель. — помощью таких методов, как классификаци€, регресси€, прогнозирование и повышение градиента, контролируемое обучение использует шаблоны дл€ прогнозировани€ значений метки на дополнительных немаркированных данных.  онтролируемое обучение обычно используетс€ в приложени€х, где исторические данные предсказывают веро€тные будущие событи€. Ќапример, он может предвидеть, когда транзакции по кредитным картам могут быть мошенническими или какой клиент страховани€ может подать иск.

ѕолуконтролируемое обучение

ѕолуконтролируемое обучение используетс€ дл€ тех же приложений, что и контролируемое обучение. Ќо дл€ обучени€ оно использует как помеченные, так и непомеченные данные, как правило, это небольшой объем помеченных данных с большим количеством немеченых данных (поскольку немеченые данные дешевле и требуют меньше усилий дл€ их получени€). Ётот тип обучени€ может использоватьс€ с такими методами, как классификаци€, регресси€ и прогнозирование. ѕолуконтролируемое обучение полезно, когда стоимость, св€занна€ с маркировкой, слишком высока, чтобы учесть полностью помеченный процесс обучени€. –анние примеры этого включают идентификацию лица человека по веб-камере.

Ќеконтролируемое обучение

Ќеконтролируемое обучение используетс€ в отношении данных, которые не имеют исторических меток. —истема не сказала Ђправильный ответї. јлгоритм должен вы€снить, что показываетс€. ÷ель состоит в том, чтобы исследовать данные и найти некоторую структуру внутри. Ќеуправл€емое обучение хорошо работает на транзакционных данных. Ќапример, он может идентифицировать сегменты клиентов со схожими признаками, которые затем могут обрабатыватьс€ аналогично в маркетинговых кампани€х. »ли он может найти основные атрибуты, которые отдел€ют сегменты клиентов друг от друга. ѕопул€рные методы включают самоорганизующиес€ таблицы, отображение ближайших соседей, кластеризацию k-средств и разложение по сингул€рным числам. Ёти алгоритмы также используютс€ дл€ сегментировани€ текстовых тем, рекомендации элементов и резко отличающихс€ значений данных.

”силенное обучение

”силенное обучение часто используетс€ дл€ робототехники, игр и навигации. Ѕлагодар€ обучению с подкреплением алгоритм с помощью проб и ошибок обнаруживает, какие действи€ принос€т наибольшее вознаграждение. Ётот тип обучени€ состоит из трех основных компонентов: агент (учащийс€ или лицо, принимающее решени€), среда (все, с чем взаимодействует агент) и действи€ (что может делать агент). ÷ель состоит в том, чтобы агент выбирал действи€, которые максимизируют ожидаемое вознаграждение в течение заданного периода времени. јгент достигнет цели намного быстрее, следу€ хорошей политике. “аким образом, цель усиленного обучени€ состоит в том, чтобы изучить лучшую политику.


 аковы различи€ между интеллектуальным анализом данных, машинным обучением и глубоким обучением?

’от€ все эти методы имеют одну и ту же цель - извлекать идеи, шаблоны и зависимости, которые можно использовать дл€ прин€ти€ решений - у них разные подходы и возможности.

—бор данных (Data Mining)

»нтеллектуальный анализ данных можно рассматривать как набор множества различных методов дл€ извлечени€ информации из данных. ќн может включать традиционные статистические методы и машинное обучение. »нтеллектуальный анализ примен€ет методы из разных областей дл€ вы€влени€ ранее неизвестных шаблонов из данных. ќн может включать в себ€ статистические алгоритмы, машинное обучение, анализ текста, анализ временных р€дов и другие области аналитики. »нтеллектуальный анализ данных также включает изучение, практику хранени€ и обработки данных.

ћашинное обучение

ќсновное отличие машинного обучени€ заключаетс€ в том, что, как и в статистических модел€х, цель состоит в том, чтобы пон€ть структуру данных - подогнать теоретические распределени€ к хорошо пон€тным данным. “аким образом, под статистическими модел€ми стоит теори€, котора€ математически доказана, но дл€ этого необходимо, чтобы данные также соответствовали определенным строгим гипотезам. ћашинное обучение развивалось на основе способности использовать компьютеры дл€ проверки данных на предмет структуры, даже если у нас нет теории о том, как эта структура выгл€дит. »спытанием модели машинного обучени€ €вл€етс€ ошибка проверки новых данных, а не теоретическое испытание, которое подтверждает нулевую гипотезу. ѕоскольку машинное обучение часто использует итеративный подход дл€ изучени€ данных, обучение может быть легко автоматизировано. ѕередача через данные проходит, пока не будет найден надежный шаблон.

√лубокое изучение (Deep learning)

√лубокое обучение сочетает в себе достижени€ в области вычислительной мощности и специальных типов нейронных сетей дл€ изучени€ сложных моделей больших объемов данных. ¬ насто€щее врем€ методы глубокого обучени€ подход€т дл€ идентификации объектов в изображени€х и слов в звуках. ¬ насто€щее врем€ исследователи стрем€тс€ применить эти успехи в распознавании образов дл€ решени€ более сложных задач, таких как автоматический перевод €зыка, медицинские диагнозы и множество других важных социальных и деловых проблем.


 ак это работает?

„тобы получить максимальную отдачу от машинного обучени€, вы должны знать, как сочетать лучшие алгоритмы с подход€щими инструментами и процессами.

јлгоритмы: графические пользовательские интерфейсы помогают создавать модели машинного обучени€ и реализовывать итеративный процесс машинного обучени€. јлгоритмы машинного обучени€ включают в себ€:

  • Ќейронные сети
  • ƒеревь€ решений
  • —лучайные леса
  • јссоциации и обнаружение последовательности
  • √радиент повышени€ и расфасовки
  • ќпорные векторные машины
  • ќтображение ближайшего соседа
  • K-средства кластеризации
  • —амоорганизующиес€ карты
  • ћетоды локальной оптимизации поиска
  • ћаксимальное ожидание
  • ћногомерные адаптивные регрессионные сплайны
  • Ѕайесовские сети
  • ќценка плотности €дра
  • јнализ главных компонентов
  • —ингул€рное разложение
  • —мешанные √ауссовские модели
  • ѕоследовательное сопроводительное построение правил

»нструменты и процессы:  ак мы уже знаем, это не просто алгоритмы. ¬ конечном счете, секрет получени€ максимальной отдачи от ваших объемных данных заключаетс€ в объединении лучших алгоритмов дл€ поставленной задачи с:

  •  омплексным качеством данных и их управлением
  • GUI дл€ построени€ моделей и процессов
  • »нтерактивным исследованием данных и визуализацией результатов модели
  • —равнением различных моделей машинного обучени€ дл€ быстрого определени€ лучшей
  • јвтоматизированной оценкой группы дл€ вы€влени€ лучших исполнителей
  • ѕростым развертыванием модели, что позвол€ет быстро получать воспроизводимые и надежные результаты
  • »нтегрированной комплексной платформой дл€ автоматизации процесса прин€ти€ решений