По вашему запросу ничего не найдено :(
Убедитесь, что запрос написан правильно, или посмотрите другие наши статьи:
img
В данной статье будет проведена кластеризация заранее подготовленного корпуса текстов. Он получен в результате работы программы-краулера, собиравшего новостные статьи с сайта arstechnica.com, присваивая каждому собранному тексту тему, к которой он был приписан на сайте. В ходе работы будет проведена кластеризация собранных текстов и визуализированы ключевые слова и максимально близкие к ним по смыслу на основании алгоритма word2vec. Наработки, освещенные в данной работе, могут быть использованы в беспрерывном анализе сайтов по поступающим адресам с целью автоматизации поиска данных по каким-либо критериям. Теория Лемматизация – это процесс преобразования слова в его базовую форму, которая учитывает контекст (в отличие от стемминга (stemming), который находит основу слова, не учитывая контекст). Wordnet – это большая лексическая база данных английского языка для установления структурированных семантических отношений между словами. Библиотека предлагает возможности лемматизации. Word2vec — это инструмент для расчета векторных представлений слов, который реализует основные архитектуры — Continuous Bag of Words (CBOW) и Skip-gram. Суть в том, что на вход подается текст, а на выходе мы получаем набор векторов слов. Используется для нахождения связей между контекстами. CBOW и Skip-gram — нейросетевые архитектуры, которые описывают, как именно нейросеть «учится» на данных и «запоминает» представления слов. Принципы у обоих архитектур разные. Принцип работы CBOW — предсказывание слова при данном контексте, а skip-gram наоборот — предсказывается контекст при данном слове. Практическая часть Сначала нужно считать корпус из ранее подготовленного файла и вывести краткие сведения о нем, чтобы убедиться, что все верно: Убираем из текстов знаки препинания и слова, которые слишком часто применяются и часто не несут смысловой нагрузки (так называемые стоп-слова), а именно предлоги, артикли, частицы, часть местоимений и некоторые формы вспомогательных глаголов: После необходимо разбить корпус на две выборки: обучающую и тестовую. С помощью обучающей выборки предполагается обучить метод векторизации и кластеризатор, а с помощью тестовой – проверить результаты их работы. С помощью параметра test_size можно задать соотношение размеров выборок. Затем можно приступить к векторизации текстов выборок. Количество признаков установлено на 500 и после этого сделано усреднение длин векторов. Обучив векторизатор, можно посмотреть наиболее близкие по контексту слова. Эта функция будет использована далее для визуализации Wordcloud. Для визуализации результатов кластеризации нужно выделить 2 главных признака и вывести координаты точек, исходя из значений двух выделенных параметров. Наконец, можно приступить к визуализации облака слов. Оно строится на основании веса каждого слова в корпусе. А так как в качестве корпуса подается топ-100 слов, семантически близких к слову car, то данное облако полностью состоит из слов, близких к car по мнению word2vec. Заключение В заключение нужно отметить, что, хотя данная кластеризация прошла относительно успешно, что видно из приведенных метрик и общему виду кластеров (их можно легко отделить друг от друга, в общей своей массе каждый из них имеет крайне малое количество своих представителей на территории другого кластера), все же можно подобрать лучшие параметры. Также повышению качества будет способствовать увеличение размеров корпуса и ручная доработка корпуса стоп-слов и пунктуации, хотя стоит отметить, что они и в стандартном виде работают достаточно эффективно для столь небольшой обучающей выборки (5952 текста о 5 разных, иногда пересекающихся, темах).
img
Когда базы данных Oracle не работают, целесообразно проверить подключения к ним. Периодически приходится проверять, работает ли база данных Oracle. Иногда процесс, запущенный на одном сервере, извлекает данные из базы данных на другом сервере, и, если процесс завершается неудачей, тестирование соединения с базой данных является хорошей отправной точкой для определения того, что пошло не так. Проверка локальной базы данных Если база данных находится в локальной системе, сперва проверяем состояние процесса и должны увидеть результат, подобный показанному на скриншоте ниже. Эти выходные данные говорят нам, что процессы Oracle запущены, включая tnslsnr, часто называемый «прослушивателем» и критически важный для подключения к локальной базе данных. Также можно проверить вывод команды netstat, чтобы увидеть, порт, который «опрашивает» Oracle и использует по умолчанию. Это порт, который должен был открыть «прослушиватель». Использование tnsping Другая, потенциально более полезная команда - это tnsping, которая использует информацию из файла БД Oracle tnsnames.ora для проверки возможности подключения. Если, например, набрать команду tnsping ORCL, команда будет искать базу данных с именем службы ORCL, отправит запрос типа ping на настроенный порт и сообщит об ответе. Успешный ответ от tnsping будет выглядеть примерно так: Обратите внимание на ответ «ОК» в последней строке. Также получен отчет о том, сколько времени потребовалось на ответ. Одиннадцать секунд - быстрый ответ. Если проверялась удаленная система, то потребовалось бы в десять или более раз больше времени, чтобы получить ответ. Если Oracle прослушивает порт, отличный от 1521, команда tnsping все равно будет работать, предполагая, что файл tnsnames.ora содержит правильную информацию. Запись tnsnames.ora для одной базы данных будет выглядеть примерно так: Обратите внимание, как имя службы (ORCL), которое использовалось в примере команды tnsping, и порт, на который отвечает «прослушиватель» Oracle (1521), настроены в этом дескрипторе базы данных. Использование sqlplus Другая команда, которую любят использовать администраторы БД для проверки связи с базой данных Oracle - это sqlplus. С помощью sqlplus (установленного вместе с Oracle) можно проверить, отвечает ли Oracle, а также и запустить несколько команд sqlplus, чтобы убедиться, что таблицы или их содержимое соответствуют тому, что мы ожидаем увидеть. Команда sqlplus имеет следующую форму для подключения к базе данных Oracle: sqlplus username/password@SID SID в этом описании может быть SID или SERVICE_NAME, взаимозаменяемыми в некоторых версиях Oracle. Например, можно ввести: % sqlplus admin/f0xtrawt@ORCL Эта команда определяет имя пользователя, пароль и SERVICE_NAME/SID в одной команде. После подключения можно ввести пару команд sql, чтобы убедиться, что база данных работает правильно. Можно подсчитать количество пользовательских таблиц с помощью такой команды: SQL> select count(*) from user_tables; COUNT(*) ---------- 45 Создание скрипта Поскольку я не так часто пытаюсь устранить неполадки в базах данных Oracle, я предпочитаю сохранять команды для подключения к конкретной базе данных в виде простого скрипта. Я мог бы назвать скрипт для подключения к локальной базе данных connect2local и аналогичный сценарий для подключения к базе данных на удаленном сервере connect2rem или connect2mars (если удаленная система была названа mars). Чтобы облегчить мне использование БД Oracle, я сохраню переменные, которые хочу использовать, в профиле и буду использовать их по мере необходимости: Мною написанный скрипт будет выглядеть так: Когда я набираю connect2local, я ожидаю увидеть в ответ OK и возможность остаться в приглашении SQL>, из которого я могу выдавать запросы или набрать quit для выхода. Быстрые тесты, позволяющие определить, реагирует ли база данных Oracle, имеют большое значение для устранения проблем с подключением.
img
Исследователи кибербезопасности выявили новую уязвимость, которая может повлиять на устройства в миллиардах по всему миру, включая серверы, рабочие станции, настольные компьютеры, ноутбуки, системы Интернета вещей и многое другое, работающие на системах Windows и Linux. Исследователи говорят, что BootHole - это своего рода уязвимость переполнения буфера, способная воздействовать на все версии загрузчика GRUB2. Он ведет себя аналогично тому, как он разобрал содержимое файла конфигурации. Этот процесс по-разному подписывается другими исполняемыми и системными файлами. Следовательно, это создает почву киберпреступникам для разрушения механизма аппаратного доверия на корне. Вследствие переполнения буфера злоумышленники могут выполнять произвольные коды в среде UEFI. Затем они могут запускать вредоносные программы, вносить изменения в ядро операционной системы напрямую, изменять загрузку или выполнять другие вредоносные действия. Данная уязвимость представляет собой большой риск и называется BootHole или CVE-2020-10713. В настоящее время данной уязвимости подвержен загрузчике GRUB2. Если злоумышленникам удастся его использовать, это может позволить им обойти функцию "Безопасной загрузки". Кроме того, атакующие также могут получить незаметный и постоянный доступ к целевым системам. Безопасная загрузка является одной из функций Унифицированного Расширяемого Интерфейса Встроенного ПО (UEFI). Люди используют его для загрузки определенных критически важных периферийных устройств, операционных систем и компонентов, обеспечивая при этом выполнение только криптографически подписанных кодов во время загрузки. Согласно отчету исследователей Eclypsium, данная функция предназначена для предотвращения выполнения не доверенных кодов до загрузки ОС. Для этого он изменяет цепочку загрузки или отключает безопасную загрузку. В Windows злоумышленники могут использовать BootHole, заменив уже установленные загрузчики по умолчанию слабой версией GRUB2, а затем установить вредоносную программу rootkit. Последствия уязвимости BootHole Уязвимость BootHole может вызвать серьезные проблемы из-за того, что она позволяет злоумышленникам выполнять свои вредоносные коды до загрузки ОС. Следовательно, системам безопасности становится трудно обнаруживать вредоносные программы или устранять их. Другая причина, по которой BootHole может легко создавать ошибки в системах, заключается в том, что в среде выполнения UEFI отсутствует возможность случайного размещения адресного пространства (ASLR), предотвращение выполнения данных (DEP) или другие технологии предотвращения использования уязвимостей. Установка обновлений не решает проблему Эксперты Eclypsium недавно связались с производителями компьютеров и поставщиками ОС, чтобы помочь смягчить проблему. Выяснилось, что решение не так просто. Установки исправлений и обновление загрузчиков GRUB2 недостаточно для устранения проблемы. Причина в том, что злоумышленники могут заменить существующий загрузчик устройства на более слабую версию. Эксперты говорят, что для смягчения последствий потребуется вновь развернутые и подписанные загрузчики. Кроме того, скомпрометированные загрузчики должны быть убраны. Корпорация Майкрософт признает эту проблему и сообщает, что она работает над тестированием совместимости и проверкой обновления Windows, которое может устранить эту уязвимость. Кроме того, он рекомендует пользователям обновлять исправления безопасности по мере их доступности в ближайшие недели. Разработчики некоторых дистрибутивов Linux следуя их примеру также выпустили рекомендации, связанные с данной уязвимостью и готовящимися исправлениями.
ВЕСЕННИЕ СКИДКИ
40%
50%
60%
До конца акции: 30 дней 24 : 59 : 59