По вашему запросу ничего не найдено :(
Убедитесь, что запрос написан правильно, или посмотрите другие
наши статьи:
Поскольку многие люди и устройства подключаются к Интернету, и мы все обмениваемся данными, конфиденциальность является серьезной проблемой для всех. Представьте себе, что вы отправляете конфиденциальный файл другу через Интернет, но вас беспокоит, не перехватывает ли злоумышленник ваши сообщения и не просматривает ли он их. Для обеспечения безопасности ваших данных используется криптография, гарантирующая, что доступ к данным имеет только уполномоченное лицо. С помощью криптографии мы можем шифровать наши сообщения, чтобы сохранить их в тайне от несанкционированных сторон, таких как злоумышленники. Даже если злоумышленник сможет перехватить наши зашифрованные данные, он не сможет просмотреть содержимое зашифрованного сообщения.
В этой статье вы узнаете о различных стандартах и алгоритмах шифрования и о том, как они используются для обеспечения конфиденциальности данных в сети. Кроме того, вы узнаете о методах, которые злоумышленники используют для получения секретного ключа и дешифрования. Кроме того, вы узнаете о различных методах хеширования, которые используются для проверки целостности данных. Затем вы изучите как симметричные, так и асимметричные алгоритмы, а также инфраструктуру открытых ключей (Public Key Infrastructure - PKI).
Понимание необходимости криптографии
В мире информационной безопасности конфиденциальность данных - очень актуальная тема. Все обеспокоены тем, как используются их данные и какие меры безопасности используются для защиты их данных в системах и сетях. В компьютерном мире криптография применяется для защиты наших данных от посторонних лиц.
Что такое криптография? Это методы кодирования чувствительной информации с помощью математических алгоритмов, которые затрудняют понимание результата другими людьми, кроме тех, кто уполномочен.
Криптография уже много лет используется различными военными организациями для защиты их связи. Сегодня, в эпоху цифровых технологий, мы используем криптографию, чтобы защитить коммуникации между источником и получателем.
Чтобы лучше понять, представьте, что вы создаете документ на своем компьютере. Если кто-либо получит доступ к документу, он сможет прочитать его содержимое, и для этого документа нет никакого уровня конфиденциальности. Для защиты данных может применяться процесс шифрования для преобразования данных в формат, доступный для чтения только вам и тем, кто имеет соответствующие полномочия. Это означает, что, если злоумышленник получит зашифрованный файл, то не сможет прочитать фактическое содержимое файла, но увидит зашифрованное сообщение.
Любые данные (сообщения), которые не зашифрованы, называются открытым текстом. Если кто-то получит доступ к открытому тексту, он сможет прочитать его содержимое. Чтобы зашифровать сообщение, открытый текст обрабатывается специальным алгоритмом, который преобразует сообщение с открытым текстом в нечитаемый формат. Этот алгоритм называется шифром. Шифр также использует ключ для выполнения процесса шифрования, чтобы преобразовать сообщение в зашифрованный текст. Зашифрованный текст - это зашифрованный формат открытого текста, который не может прочитать никто, кроме тех, кто имеет к нему доступ.
Ключ используется в процессе шифрования, поскольку он добавляет дополнительный уровень безопасности к зашифрованному тексту. Без ключа злоумышленник не сможет выполнить криптоанализ, который представляет собой метод, используемый для дешифровки, взлома или шифрования данных.
На следующем рисунке показан процесс криптографии:
Шифрование данных и криптография играют важную роль в современном мире. Мы используем криптографию для защиты данных в состоянии покоя и данных в движении (при передаче). Данные в состоянии покоя - это терминология, используемая для описания данных, которые хранятся на носителе без доступа приложения или пользователя, в то время как данные в движении - это данные, которые передаются от источника к месту назначения, например, по сети.
Существует множество технологий шифрования, таких как Microsoft BitLocker, Apple FileVault и Linux Unified Key Setup (LUKS), которые встроены в их собственные операционные системы. Эти собственные технологии шифрования позволяют пользователю создать логический зашифрованный контейнер хранения в своей операционной системе. Пользователи могут помещать файлы в контейнер и шифровать их, блокируя контейнер. Этот метод позволяет пользователям защитить свои данные в состоянии покоя от любых злоумышленников, которые могут поставить под угрозу компьютер жертвы.
Существует множество безопасных и небезопасных сетевых протоколов, которые передают ваши данные по сети. Небезопасные сетевые протоколы не шифруют ваши данные и передают их в виде открытого текста. Если злоумышленник сможет перехватить сетевые пакеты, злоумышленник сможет увидеть все ваши сообщения в виде открытого текста.
В следующем рисунке показан захват пакета, содержащего трафик Telnet внутри Wireshark:
Представьте, что вы являетесь злоумышленником. Вы можете использовать такой инструмент, как Wireshark, для повторной сборки всех пакетов, показанных на предыдущем рисунке, между исходным и конечным хостами. Это позволит вам увидеть весь сетевой диалог между источником (192.168.0.2) и получателем (192.168.0.1) следующим образом:
Как показано на предыдущем скриншоте, мы можем видеть диалог между клиентом и сервером Telnet. Содержимое, красного цвета, - это то, что отправляется от клиента на сервер, в то время как содержимое, синего цвета, - это то, что отправляется с сервера обратно клиенту. Wireshark имеет функцию отслеживания потока пакетов и представления информации в виде преобразования для нас в удобочитаемом формате. На скриншоте обратите внимание, что мы можем видеть логин и пароль пользователя для входа, который отправляется по сети с помощью Telnet.
Элементы криптографии
Многие думают, что криптография используется для шифрования данных в компьютерном мире. Это утверждение верно, но криптография также имеет дополнительные ключевые преимущества для защиты данных, такие как:
Конфиденциальность
Целостность
Аутентификация источника
Невозможность отказа от отвественности
Конфиденциальность определяется как сохранение чего-либо, например, объекта или данных, в тайне от посторонних лиц. В вычислительном мире этого можно достичь с помощью алгоритмов шифрования данных, просто зашифровав текстовое сообщение с помощью шифра и ключа. Если неавторизованное лицо или злоумышленник получает зашифрованные данные (зашифрованный текст) без ключа, то он не сможет расшифровать зашифрованное сообщение.
Конфиденциальность позволяет нам отправлять защищенные сообщения (данные) между источником и получателем без необходимости беспокоиться о том, перехватывает ли кто-то наши логины и пароли во время их передачи по сети. Шифрование данных позволяет нам защитить наши данные от различных типов атак, таких как Man in the Middle (MiTM). Как только данные будут зашифрованы, злоумышленник не сможет просматривать содержимое фактических данных.
Целостность играет жизненно важную роль в области информационной безопасности. Это помогает нам определить, изменяются ли данные или нет, когда они передаются от источника к месту назначения. В эпоху цифровых технологий пользователи всегда отправляют сообщения определенного типа между одним устройством и другим. Даже операционная система на хост-устройствах всегда обменивается информацией в сети. Представьте, что вы отправляете сообщение другу через мессенджер на вашем смартфоне. Как ваш друг узнает, что сообщение не было изменено неавторизованным лицом в процессе передачи? Это серьезная проблема, и, к счастью, существует метод, известный как хеширование, который позволяет устройству проверять целостность входящего сообщения (данных) от источника.
Аутентификация - это процесс подтверждения вашей личности в системе. Без аутентификации любой человек сможет получить доступ к устройству и выполнять любые действия без какой-либо ответственности. В криптографии аутентификация используется для того, чтобы помочь нам проверить и подтвердить источник или отправителя сообщения, что называется аутентификацией источника. Сообщение может быть подписано цифровой подписью с помощью цифрового сертификата, принадлежащего отправителю. Когда адресат получает сообщение, получатель может использовать информацию, содержащуюся в цифровом сертификате источника, для проверки подлинности сообщения. Другими словами, чтобы определить, действительно ли сообщение исходило от отправителя, а не от злоумышленника.
Невозможность отказа от ответственности (Non-repudiation) используется для предотвращения отрицания пользователем того, что он выполнили какое-либо действие. Типичный пример: представьте, что во время обеда вы посещаете местную кофейню, чтобы выпить напиток. В кассе вы создаете заказ, производите оплату и получаете счет с заказанными вами товарами. Вся информация о транзакции, которую вы только что завершили, печатается в квитанции (счете), такая как время и дата, количество и тип товаров, имя кассира и местонахождение отделения. Эта информация также записывается в базе данных кофейни, поэтому вы не сможете отрицать свое посещение и покупку в этом магазине.
Теперь немного обсудим характеристики различных типов шифров, которые используются в алгоритмах шифрования данных.
Шифр подстановки
В каждом типе алгоритма шифрования (шифра) используется секретный ключ, обеспечивающий конфиденциальность сообщения. В шифре подстановки секретный ключ - это смещение буквы в исходном сообщении. Это означает, что количество букв в текстовом сообщении не изменяется после того, как оно проходит через шифр и становится зашифрованным текстом.
Чтобы лучше понять, как работает шифр подстановки, давайте взглянем на очень известный шифр, шифр Цезаря, который существует уже довольно давно. Его методы шифрования просто сдвигают букву алфавита. Шифрование с использованием ключа k = 3. Буква «Е» «сдвигается» на три буквы вперёд и становится буквой «З». Твёрдый знак, перемещенный на три буквы вперёд, становится буквой «Э», и так далее:
Исходный алфавит: АБВГДЕЁЖЗИЙКЛМНОПРСТУФХЦЧШЩЪЫЬЭЮЯ
Шифрованный: ГДЕЁЖЗИЙКЛМНОПРСТУФХЦЧШЩЪЫЬЭЮЯАБВ
Оригинальный текст:
Съешь же ещё этих мягких французских булок, да выпей чаю.
Шифрованный текст получается путем замены каждой буквы оригинального текста соответствующей буквой шифрованного алфавита:
Фэзыя йз зьи ахлш пвёнлш чугрщцкфнлш дцосн, жг еютзм ъгб.
Поэтому, если злоумышленник перехватит зашифрованный текст во время передачи по сети, не зная секретного ключа, то сообщение останется в безопасности.
Перестановочный шифр
Другой тип шифра - перестановочный шифр. Этот шифр не сдвигает ни одной буквы сообщения. Он просто переставляет буквы в каждом слове. Один тип перестановочного шифра известен как столбчатый шифр транспонирования. Этот шифр сохраняет одни и те же буквы каждого слова на месте, но создает столбец фиксированного размера. Рассмотрим простой текст hello world, и давайте применим технику простого столбчатого преобразования, как показано ниже
Символы простого текста располагаются горизонтально, а зашифрованный текст создается в вертикальном формате: holewdlolr. Теперь получатель должен использовать ту же таблицу, чтобы расшифровать зашифрованный текст в обычный текст.
Другой разновидностью перестановочного шифра является шифр рельсового ограждения. Этот шифр записывает выходные данные в зигзагообразном формате. Например, результат записывается по диагонали, начиная слева направо. Используя наш пример предложения, thequickbrownfoxjumpsoverthelazydog (без пробелов), еще раз в качестве нашего открытого текста и ключа в виде трех рельсов, мы получим следующий результат в данном типе шифрования:
На предыдущем рисунке, показано, как слова написаны по диагонали. Чтобы создать зашифрованный текст, сообщение читается от верхней строки до последней строки. Это создаст следующий зашифрованный текст:
tubnjsrldhqikrwfxupoeteayoecoomvhzg
И снова, если злоумышленник перехватит зашифрованный текст, сообщение останется в безопасности до тех пор, пока злоумышленник не узнает (получит) секретный ключ.
Управление компьютерной сетью процесс довольно трудоемкий и динамичный. Поэтому разработка инструментов по обслуживанию компьютерных сетей не менее важный процесс, чем, собственно, расширение самих сетей. На сегодняшний момент в распоряжении сетевых администраторов представлены несколько наборов инструментов, позволяющих существенно облегчить развертывание, настройку и обновление конфигурации как небольших локальных сетей, так и достаточно масштабных объединений кластеров, насчитывающих десятки тысяч машин. Самые популярные из них это Salt, Ansible, Puppet и Chef, преимущества и недостатки которого мы и разберем в этой статье.
Что же такое Chef? Это система конфигурирования сети, которая "заточена" под кулинарную тематику. Вкратце, система основана на "рецептах" файлах конфигурации, которые администратор объединяет в "кукбуки", или "кулинарные книги" сценарии поведения сети. Эти сценарии помещаются в хранилище, или "книжный шкаф", откуда актуальный набор конфигураций извлекается и устанавливается на клиентские машины в автоматическом режиме. Все операции исполняются с помощью консольного инструмента, который создатели ласково окрестили "шефским ножом".
Что же хорошего можно ожидать от томного итальянского шеф-повара?
Быстрота развертывания: При правильном прописывании параметров конфигурации, добавление в сеть нового устройства, или даже целого кластера достаточно простая и не требующая долгого времени операция. То, что еще лет пять назад требовало ручных настроек и двух-трех дней работы, с помощью Chef выполняется автоматически в течении считанных минут.
Гибкость настроек: Благодаря Bookshelf’ам, Chef позволяет создать несколько сценариев поведения сети, которые позволяют за короткое время переконфигурировать сеть оптимальным образом для выполнения определенного рода задач. Такая возможность актуальна для тех сетей, которые требуют быстрой адаптации под нужды компании. Оперативное перераспределение ресурсной мощности сети один из главных козырей данного решения
Доступность: Решение Chef широко распространено и доступно для широкого круга пользователей. Любой интересующийся человек может скачать ознакомительную версию и попробовать писать свои рецепты, и если дело пойдет можно приобрести лицензию и внедрять решения Chef непосредственно в рабочий процесс.
Мультиплатформенность: Рецепты Chef можно адаптировать под любую операционную систему, и менять конфигурациии ОС клиентских машин независимо от того, какая ОС на них установлена.
А где этот любитель женщин и хорошего вина слабоват?
Человеческий фактор: Применение решений Chef требует от оператора внимательности и хорошего знания конфигурирования сети. Если ошибиться в коде и применить некорректные настройки можно столкнуться с рядом проблем, от потери соединения до полной потери данных с выходом удаленного оборудования из строя.
Безопасность: Важнейшей задачей при работе с Chef является защищенность рабочей станции. Если не обеспечить защиту сети должным образом, то проникновение в систему злоумышленника и перехват управления системой может привести к серьезному ущербу, особенно в сетях крупных корпораций.
Громоздкость: Рецепты Chef зачастую достаточно объемны, и это порождает некоторые сложности в их применении. Каждая строка настроек конфигурации должна быть выверена, и это требует от оператора особого внимания при создании и при проверке рецептов и кукбуков.
Прожорливость: Данное решение на текущий момент несколько уступает конкурентам в производительности и потреблении ресурсов рабочей станции. Однако, работы над оптимизацией Chef ведутся непрерывно, поэтому продукт в ближайших версиях обещает быть более оптимизированным и эффективным.
Итак, если сравнивать Chef с аналогичными продуктами от других разработчиков (а именно Ansible, Salt и Puppet), то данное решение будет несколько уступать в управляемости, за счет сложности описания рецептов (но это дело привычки), а также по производительности. По заявлениям специалистов Chef Enterprise идеальный инструмент именно для сферы разработки ПО. Работы над оптимизацией программы ведутся, и новые версии обещают быть более эффективными и производительными.
Вывод
Несмотря на наличие минусов, Chef остается одним из наиболее популярных и востребованных инструментов администратора сети. Данное решение имеет свои достоинства, а недостатки, как очевидно, легко устранимы. Поэтому данная программа имеет множество сторонников применения в самых разных компаниях.
Машинное обучение - это метод анализа данных, который автоматизирует построение аналитической модели. Это отрасль искусственного интеллекта, основанная на идее, что системы могут обучаться на основе данных, выявлять закономерности и принимать решения с минимальным вмешательством человека.
Эволюция машинного обучения
Из-за новых вычислительных технологий машинное обучение сегодня отличается от машинного обучения в прошлом. Оно основывается на распознавании образов и теории, что компьютеры могут обучаться, не будучи запрограммированы для выполнения конкретных задач; исследователи, интересующиеся искусственным интеллектом, хотели посмотреть, смогут ли компьютеры обучаться, основываясь на базе данных. Итеративный аспект машинного обучения важен, так как модели, подвергающиеся воздействию новых данных, способны самостоятельно адаптироваться. Они учатся от предыдущих вычислений для получения надежных и воспроизводимых решений и результатов.
Хотя многие алгоритмы машинного обучения существуют уже давно, способность автоматически применять сложные математические вычисления к объемным данным - снова и снова, все быстрее и быстрее - это новейшая разработка. Вот несколько широко разрекламированных примеров приложений машинного обучения, с которыми вы можете быть знакомы:
Сильно раскрученная, самоуправляемая машина Google. Суть машинного обучения.
Онлайн рекомендации, такие, как у Amazon и Netflix. Приложения машинного обучения для повседневной жизни.
Знание того, что клиенты говорят о вас в соцсетях. Машинное обучение в сочетании с созданием лингвистических правил.
Обнаружение мошенничества. Одно из наиболее очевидных, важных применений в современном мире.
Почему машинное обучение важно?
Возобновление интереса к машинному обучению обусловлено теми же факторами, которые сделали анализ данных и Байесовский анализ более популярными, чем когда-либо. Растущие объемы и разнообразие доступных данных, вычислительная обработка, которая является более дешевой и мощной; доступное хранилище для хранения данных - все эти аспекты означают, что можно быстро и автоматизировано производить модели, которые могут анализировать более объемные и сложные данные и обеспечивать быстрые и более точные результаты - даже на очень больших объемах. А благодаря созданию точных моделей у организации больше шансов определить выгодные возможности или избежать неизвестных рисков.
Что необходимо для создания эффективных систем машинного обучения?
Возможности подготовки данных.
Алгоритмы - базовый и продвинутый.
Автоматизация и итерационные процессы.
Масштабируемость.
Ансамблевое моделирование.
Интересные факты
В машинном обучении, цель называется - «ярлык».
В статистике, цель называется «зависимой переменной».
Переменная в статистике называется – «функция в машинном обучении».
Преобразование в статистике называется – «создание функции в машинном обучении».
Кто использует машинное обучение?
Большинство отраслей промышленности, работающих с большими объемами данных признали ценность технологии машинного обучения. Подбирая идеи из этих данных - часто в режиме реального времени - организации способны более эффективно работать или получить преимущество перед конкурентами.
Финансовые услуги
Банки и другие предприятия финансовой индустрии используют технологию машинного обучения для двух ключевых целей: для выявления важных данных и предотвращения мошенничества. Они могут определить инвестиционные возможности или помочь инвесторам узнать, когда торговать. Интеллектуальный анализ данных может также идентифицировать клиентов с профилями высокого риска или использовать кибер-наблюдение, чтобы точно определить признаки мошенничества.
Правительство
Правительственные учреждения, такие как общественная безопасность и коммунальные службы, особенно нуждаются в машинном обучении, поскольку у них есть несколько источников данных, из которых можно получить информацию для полного понимания. Например, анализ датчика данных определяет пути повышения эффективности и экономии средств. Машинное обучение также может помочь обнаружить мошенничество и минимизировать кражу личных данных.
Здравоохранение
Машинное обучение является быстро развивающимся направлением в отрасли здравоохранения, благодаря появлению переносных устройств и датчиков, которые могут использовать данные для оценки состояния здоровья пациента в режиме реального времени. Эта технология также может помочь медицинским экспертам анализировать данные для выявления тенденций или «красных флажков», которые могут привести к улучшению диагностики и лечения.
Розничная торговля
Веб-сайты, рекомендующие товары, которые могут вам понравиться на основе предыдущих покупок, используют машинное обучение для анализа вашей истории покупок. Ритейлеры полагаются на машинное обучение для сбора данных, их анализа и использования для персонализации процесса совершения покупок, проведения маркетинговой кампании, оптимизации цен, планирования поставок товаров, а также для понимания потребностей клиентов.
Нефть и газ
Поиск новых источников энергии. Анализ минералов в почве. Прогнозирование неисправности датчика НПЗ. Оптимизация распределения нефти, чтобы сделать ее более эффективной и рентабельной. Количество вариантов использования машинного обучения для этой отрасли огромно - и продолжает расти.
Транспорт
Анализ данных для определения закономерностей и тенденций является ключевым для транспортной отрасли, которая полагается на повышение эффективности маршрутов и прогнозирование потенциальных проблем для повышения прибыльности. Анализ данных и аспекты моделирования машинного обучения являются важными инструментами для компаний доставки, общественного транспорта и других транспортных организаций.
Каковы популярные методы машинного обучения?
Двумя наиболее широко распространенными методами машинного обучения являются контролируемое обучение и неконтролируемое обучение, но существуют и другие методы машинного обучения. Вот обзор самых популярных типов.
Контролируемое обучение
Алгоритмы контролируемого обучения изучаются с использованием маркированных примеров, таких как ввод, в котором известен желаемый результат. Например, единица оборудования может иметь точки данных, помеченные как «F» (ошибка) или «R» (работа). Алгоритм обучения получает набор входных данных вместе с соответствующими правильными выходными данными, а алгоритм обучается путем сравнения своих фактических выходных данных с правильными выходными данными, чтобы найти ошибки. Затем он соответствующим образом модифицирует модель. С помощью таких методов, как классификация, регрессия, прогнозирование и повышение градиента, контролируемое обучение использует шаблоны для прогнозирования значений метки на дополнительных немаркированных данных. Контролируемое обучение обычно используется в приложениях, где исторические данные предсказывают вероятные будущие события. Например, он может предвидеть, когда транзакции по кредитным картам могут быть мошенническими или какой клиент страхования может подать иск.
Полуконтролируемое обучение
Полуконтролируемое обучение используется для тех же приложений, что и контролируемое обучение. Но для обучения оно использует как помеченные, так и непомеченные данные, как правило, это небольшой объем помеченных данных с большим количеством немеченых данных (поскольку немеченые данные дешевле и требуют меньше усилий для их получения). Этот тип обучения может использоваться с такими методами, как классификация, регрессия и прогнозирование. Полуконтролируемое обучение полезно, когда стоимость, связанная с маркировкой, слишком высока, чтобы учесть полностью помеченный процесс обучения. Ранние примеры этого включают идентификацию лица человека по веб-камере.
Неконтролируемое обучение
Неконтролируемое обучение используется в отношении данных, которые не имеют исторических меток. Система не сказала «правильный ответ». Алгоритм должен выяснить, что показывается. Цель состоит в том, чтобы исследовать данные и найти некоторую структуру внутри. Неуправляемое обучение хорошо работает на транзакционных данных. Например, он может идентифицировать сегменты клиентов со схожими признаками, которые затем могут обрабатываться аналогично в маркетинговых кампаниях. Или он может найти основные атрибуты, которые отделяют сегменты клиентов друг от друга. Популярные методы включают самоорганизующиеся таблицы, отображение ближайших соседей, кластеризацию k-средств и разложение по сингулярным числам. Эти алгоритмы также используются для сегментирования текстовых тем, рекомендации элементов и резко отличающихся значений данных.
Усиленное обучение
Усиленное обучение часто используется для робототехники, игр и навигации. Благодаря обучению с подкреплением алгоритм с помощью проб и ошибок обнаруживает, какие действия приносят наибольшее вознаграждение. Этот тип обучения состоит из трех основных компонентов: агент (учащийся или лицо, принимающее решения), среда (все, с чем взаимодействует агент) и действия (что может делать агент). Цель состоит в том, чтобы агент выбирал действия, которые максимизируют ожидаемое вознаграждение в течение заданного периода времени. Агент достигнет цели намного быстрее, следуя хорошей политике. Таким образом, цель усиленного обучения состоит в том, чтобы изучить лучшую политику.
Каковы различия между интеллектуальным анализом данных, машинным обучением и глубоким обучением?
Хотя все эти методы имеют одну и ту же цель - извлекать идеи, шаблоны и зависимости, которые можно использовать для принятия решений - у них разные подходы и возможности.
Сбор данных (Data Mining)
Интеллектуальный анализ данных можно рассматривать как набор множества различных методов для извлечения информации из данных. Он может включать традиционные статистические методы и машинное обучение. Интеллектуальный анализ применяет методы из разных областей для выявления ранее неизвестных шаблонов из данных. Он может включать в себя статистические алгоритмы, машинное обучение, анализ текста, анализ временных рядов и другие области аналитики. Интеллектуальный анализ данных также включает изучение, практику хранения и обработки данных.
Машинное обучение
Основное отличие машинного обучения заключается в том, что, как и в статистических моделях, цель состоит в том, чтобы понять структуру данных - подогнать теоретические распределения к хорошо понятным данным. Таким образом, под статистическими моделями стоит теория, которая математически доказана, но для этого необходимо, чтобы данные также соответствовали определенным строгим гипотезам. Машинное обучение развивалось на основе способности использовать компьютеры для проверки данных на предмет структуры, даже если у нас нет теории о том, как эта структура выглядит. Испытанием модели машинного обучения является ошибка проверки новых данных, а не теоретическое испытание, которое подтверждает нулевую гипотезу. Поскольку машинное обучение часто использует итеративный подход для изучения данных, обучение может быть легко автоматизировано. Передача через данные проходит, пока не будет найден надежный шаблон.
Глубокое изучение (Deep learning)
Глубокое обучение сочетает в себе достижения в области вычислительной мощности и специальных типов нейронных сетей для изучения сложных моделей больших объемов данных. В настоящее время методы глубокого обучения подходят для идентификации объектов в изображениях и слов в звуках. В настоящее время исследователи стремятся применить эти успехи в распознавании образов для решения более сложных задач, таких как автоматический перевод языка, медицинские диагнозы и множество других важных социальных и деловых проблем.
Как это работает?
Чтобы получить максимальную отдачу от машинного обучения, вы должны знать, как сочетать лучшие алгоритмы с подходящими инструментами и процессами.
Алгоритмы: графические пользовательские интерфейсы помогают создавать модели машинного обучения и реализовывать итеративный процесс машинного обучения. Алгоритмы машинного обучения включают в себя:
Нейронные сети
Деревья решений
Случайные леса
Ассоциации и обнаружение последовательности
Градиент повышения и расфасовки
Опорные векторные машины
Отображение ближайшего соседа
K-средства кластеризации
Самоорганизующиеся карты
Методы локальной оптимизации поиска
Максимальное ожидание
Многомерные адаптивные регрессионные сплайны
Байесовские сети
Оценка плотности ядра
Анализ главных компонентов
Сингулярное разложение
Смешанные Гауссовские модели
Последовательное сопроводительное построение правил
Инструменты и процессы: Как мы уже знаем, это не просто алгоритмы. В конечном счете, секрет получения максимальной отдачи от ваших объемных данных заключается в объединении лучших алгоритмов для поставленной задачи с:
Комплексным качеством данных и их управлением
GUI для построения моделей и процессов
Интерактивным исследованием данных и визуализацией результатов модели
Сравнением различных моделей машинного обучения для быстрого определения лучшей
Автоматизированной оценкой группы для выявления лучших исполнителей
Простым развертыванием модели, что позволяет быстро получать воспроизводимые и надежные результаты
Интегрированной комплексной платформой для автоматизации процесса принятия решений