По вашему запросу ничего не найдено :(
Убедитесь, что запрос написан правильно, или посмотрите другие
наши статьи:
В данной статье будет проведена кластеризация заранее подготовленного корпуса текстов. Он получен в результате работы программы-краулера, собиравшего новостные статьи с сайта arstechnica.com, присваивая каждому собранному тексту тему, к которой он был приписан на сайте. В ходе работы будет проведена кластеризация собранных текстов и визуализированы ключевые слова и максимально близкие к ним по смыслу на основании алгоритма word2vec. Наработки, освещенные в данной работе, могут быть использованы в беспрерывном анализе сайтов по поступающим адресам с целью автоматизации поиска данных по каким-либо критериям.
Теория
Лемматизация – это процесс преобразования слова в его базовую форму, которая учитывает контекст (в отличие от стемминга (stemming), который находит основу слова, не учитывая контекст).
Wordnet – это большая лексическая база данных английского языка для установления структурированных семантических отношений между словами. Библиотека предлагает возможности лемматизации.
Word2vec — это инструмент для расчета векторных представлений слов, который реализует основные архитектуры — Continuous Bag of Words (CBOW) и Skip-gram. Суть в том, что на вход подается текст, а на выходе мы получаем набор векторов слов. Используется для нахождения связей между контекстами.
CBOW и Skip-gram — нейросетевые архитектуры, которые описывают, как именно нейросеть «учится» на данных и «запоминает» представления слов. Принципы у обоих архитектур разные. Принцип работы CBOW — предсказывание слова при данном контексте, а skip-gram наоборот — предсказывается контекст при данном слове.
Практическая часть
Сначала нужно считать корпус из ранее подготовленного файла и вывести краткие сведения о нем, чтобы убедиться, что все верно:
Убираем из текстов знаки препинания и слова, которые слишком часто применяются и часто не несут смысловой нагрузки (так называемые стоп-слова), а именно предлоги, артикли, частицы, часть местоимений и некоторые формы вспомогательных глаголов:
После необходимо разбить корпус на две выборки: обучающую и тестовую. С помощью обучающей выборки предполагается обучить метод векторизации и кластеризатор, а с помощью тестовой – проверить результаты их работы. С помощью параметра test_size можно задать соотношение размеров выборок.
Затем можно приступить к векторизации текстов выборок. Количество признаков установлено на 500 и после этого сделано усреднение длин векторов.
Обучив векторизатор, можно посмотреть наиболее близкие по контексту слова. Эта функция будет использована далее для визуализации Wordcloud.
Для визуализации результатов кластеризации нужно выделить 2 главных признака и вывести координаты точек, исходя из значений двух выделенных параметров.
Наконец, можно приступить к визуализации облака слов. Оно строится на основании веса каждого слова в корпусе. А так как в качестве корпуса подается топ-100 слов, семантически близких к слову car, то данное облако полностью состоит из слов, близких к car по мнению word2vec.
Заключение
В заключение нужно отметить, что, хотя данная кластеризация прошла относительно
успешно, что видно из приведенных метрик и общему виду кластеров (их можно легко отделить друг от друга, в общей своей массе каждый из них имеет крайне малое количество своих представителей на территории другого кластера), все же можно подобрать лучшие параметры.
Также повышению качества будет способствовать увеличение размеров корпуса и ручная доработка корпуса стоп-слов и пунктуации, хотя стоит отметить, что они и в стандартном виде работают достаточно эффективно для столь небольшой обучающей выборки (5952 текста о 5 разных, иногда пересекающихся, темах).
Привет! Сегодня мы хотим рассказать о том, как снимать пакеты (packet capture) на телефонах Cisco, подключенных к Cisco Unified Communications Manager (CUCM) .
Захват пакетов используется при траблшутинге, и в этой статье мы рассматриваем как это сделать, подключив телефон к ПК, используя встроенный PC порт. В этом случае на PC порт будет поступать копия трафика, приходящего на SWITCH порт телефона (иногда это называют зеркалированием - mirroring). И отсюда пакеты уже можно будет вытащить, используя специальные программы захвата трафика (снифферы).
Подключение и настройка Cisco IP Phone
Для начала подключим наш IP телефон Cisco. На задней панели телефона есть несколько портов и к порту, на котором написано SWICTH подключаем соответственно кабель, приходящий от коммутатора, а порт, на котором написано PC подключаем к сетевой карте нашего компьютера.
После этого заходим на наш CUCM, переходим во вкладку Device → Phone, и находим наш телефон. Тут в поле Product Specific Configuration Layout находим сточку PC Port и выбираем Enabled. Ниже находим строчку Span to PC Port и в ней тоже ставим Enabled. Стоит заметить, что у некоторых телефонов может отсутствовать пункт Span to PC Port, и в таком случае все данные автоматически пересылаются на PC порт.
Ну и наконец после этого открываем нашу программу сниффер (например WireShark), выбираем наш сетевой интерфейс, к которому подключен телефон и нажимаем Start.
Готово! После этого мы начать анализировать пакеты.
Redis - это решение с открытым исходным кодом для хранения структур данных. Он в основном используется как хранилище значений ключей, что позволяет ему работать как база данных, кеш-хранилище и брокер сообщений.
В этом руководстве мы рассмотрим различные способы удаления этих пар "ключ-значение" (ключей) и очистки кеша Redis.
Очистить кеш Redis с помощью команды redis-cli
Самый простой способ очистить кеш Redis - использовать команду redis-cli.
Базы данных в Redis хранятся индивидуально. Использование команды redis-cli позволяет удалить ключи либо из всех баз данных, либо только из одной указанной базы данных.
Синтаксис команды redis-cli
Команда redis-cli использует следующий синтаксис:
redis-cli [номер базы данных] [опция]
Где:
[опция] - позволяет выбрать между очисткой всех баз данных или одной конкретной базы данных по вашему выбору.
[номер базы данных] - позволяет указать, какую базу данных вы хотите очистить.
Примечание. После удаления ключей из базы данных их невозможно будет восстановить.
Удаление всех ключей
Чтобы удалить ключи из всех баз данных Redis, используйте следующую команду:
Redis-Cli Flushall
Начиная с версии 4.0.0, Redis может очищать ключи в фоновом режиме, не блокируя ваш сервер. Для этого используйте команду flushall с параметром async:
Redis-cli flushall async
Удаление ключей из определенной базы данных
Используйте следующую команду, чтобы очистить только определенную базу данных:
Redis-cli flushdb
Использование команды flushdb без каких-либо параметров очищает текущую выбранную базу данных. Используйте параметр -n с номером базы данных, чтобы выбрать конкретную базу данных, которую вы хотите очистить:
redis-cli -n [номер базы данных] flushdb
Вы также можете использовать параметр async при очистке ключей из отдельных баз данных:
redis-cli -n [номер базы данных] flushdb async
Автоматическая очистка кеша с помощью Ansible
Если у вас работает большое количество серверов Redis, очистка кеша для каждого из них вручную требует времени.
Чтобы ускорить этот процесс, используйте такой инструмент, как Ansible, чтобы очистить кеш на всех ваших серверах Redis одновременно:
ansible all -m command -a '/usr/bin/redis-cli flushall '
Выполнение этой команды применяет команду flushall к каждому серверу в вашем файле инвентаризации Ansible:
all - позволяет выбрать все удаленные хосты в файле инвентаризации Ansible.
-m - позволяет выбрать модуль для выполнения.
-a - Предоставляет аргумент для модуля. В этом случае командный модуль запускает команду flushall с помощью redis-cli.