По вашему запросу ничего не найдено :(
Убедитесь, что запрос написан правильно, или посмотрите другие
наши статьи:
В данной статье будет проведена кластеризация заранее подготовленного корпуса текстов. Он получен в результате работы программы-краулера, собиравшего новостные статьи с сайта arstechnica.com, присваивая каждому собранному тексту тему, к которой он был приписан на сайте. В ходе работы будет проведена кластеризация собранных текстов и визуализированы ключевые слова и максимально близкие к ним по смыслу на основании алгоритма word2vec. Наработки, освещенные в данной работе, могут быть использованы в беспрерывном анализе сайтов по поступающим адресам с целью автоматизации поиска данных по каким-либо критериям.
Теория
Лемматизация – это процесс преобразования слова в его базовую форму, которая учитывает контекст (в отличие от стемминга (stemming), который находит основу слова, не учитывая контекст).
Wordnet – это большая лексическая база данных английского языка для установления структурированных семантических отношений между словами. Библиотека предлагает возможности лемматизации.
Word2vec — это инструмент для расчета векторных представлений слов, который реализует основные архитектуры — Continuous Bag of Words (CBOW) и Skip-gram. Суть в том, что на вход подается текст, а на выходе мы получаем набор векторов слов. Используется для нахождения связей между контекстами.
CBOW и Skip-gram — нейросетевые архитектуры, которые описывают, как именно нейросеть «учится» на данных и «запоминает» представления слов. Принципы у обоих архитектур разные. Принцип работы CBOW — предсказывание слова при данном контексте, а skip-gram наоборот — предсказывается контекст при данном слове.
Практическая часть
Сначала нужно считать корпус из ранее подготовленного файла и вывести краткие сведения о нем, чтобы убедиться, что все верно:
Убираем из текстов знаки препинания и слова, которые слишком часто применяются и часто не несут смысловой нагрузки (так называемые стоп-слова), а именно предлоги, артикли, частицы, часть местоимений и некоторые формы вспомогательных глаголов:
После необходимо разбить корпус на две выборки: обучающую и тестовую. С помощью обучающей выборки предполагается обучить метод векторизации и кластеризатор, а с помощью тестовой – проверить результаты их работы. С помощью параметра test_size можно задать соотношение размеров выборок.
Затем можно приступить к векторизации текстов выборок. Количество признаков установлено на 500 и после этого сделано усреднение длин векторов.
Обучив векторизатор, можно посмотреть наиболее близкие по контексту слова. Эта функция будет использована далее для визуализации Wordcloud.
Для визуализации результатов кластеризации нужно выделить 2 главных признака и вывести координаты точек, исходя из значений двух выделенных параметров.
Наконец, можно приступить к визуализации облака слов. Оно строится на основании веса каждого слова в корпусе. А так как в качестве корпуса подается топ-100 слов, семантически близких к слову car, то данное облако полностью состоит из слов, близких к car по мнению word2vec.
Заключение
В заключение нужно отметить, что, хотя данная кластеризация прошла относительно
успешно, что видно из приведенных метрик и общему виду кластеров (их можно легко отделить друг от друга, в общей своей массе каждый из них имеет крайне малое количество своих представителей на территории другого кластера), все же можно подобрать лучшие параметры.
Также повышению качества будет способствовать увеличение размеров корпуса и ручная доработка корпуса стоп-слов и пунктуации, хотя стоит отметить, что они и в стандартном виде работают достаточно эффективно для столь небольшой обучающей выборки (5952 текста о 5 разных, иногда пересекающихся, темах).
Так как технология VoIP базируется на технологии IP и использует Интернет, она так же наследует все её уязвимости. Последствия этих атак, умноженные на уязвимости, которые следуют из особенностей архитектуры сетей VoIP, заставляют задуматься о способах усиления защиты и тщательном анализе существующей сети IP . Более того, добавление любого нового сервиса, например, голосовой почты в недостаточно защищенную инфраструктуру может спровоцировать появление новых уязвимостей.
Риски и уязвимости, наследованные из IP сетей.
Плохой дизайн сети
Неправильно спроектированная сеть может повлечь за собой большое количество проблем, связанных с использованием и обеспечением необходимой степени информационной безопасности в VoIP сетях. Межсетевые экраны, к примеру, являются уязвимым местом в сети, по причине того, что для правильного функционирования VoIP сети необходимо открывать дополнительные порты, и межсетевые экраны, не поддерживающие технологию VoIP, способны просто оставлять открытыми ранее используемые порты даже после завершения вызовов.
Уязвимые IP АТС и шлюзы
Если злоумышленник получает доступ к шлюзу или АТС, он так же получает доступ к захвату целых сессий (по сути – возможность прослушать вызов), узнать параметры вызова и сети. Таким образом, на безопасность АТС необходимо обратить наибольшее внимание. Убытки от таких вторжений могут достигать значительных сумм.
Атаки с повторением пакетов
Атака с повторением пакета может быть произведена в VoIP сети путем повторной передачи серии корректных пакетов, с целью того, что бы приёмное устройство произвело повторную обработку информации и передачу ответных пакетов, которые можно проанализировать для подмены пакетов (спуфинга) и получения доступа в сеть. К примеру, даже при условии зашифрованных данных, существует возможность повторения пакета с логином и паролем пользователем пользователя, и, таким образом, получения доступа в сеть.
Риски и уязвимости, характерные для VoIP сетей
Подмена и маскировка пакетов
Использование подменных пакетов с неправильным IP-адресом источника могут использоваться для следующих целей:
Перенаправление пакетов в другую сеть или систему
Перехват трафика и атака «man-in-the-middle» (рисунок ниже)
Маскировка под доверенное устройство - «Перенос ответственности» за атаку на другое устройство
Фаззинг(Fuzzing) - Нагрузка системы пакетами с не полностью корректной информацией , что вызывает ошибки в работе системы при их обработке, например такие как задержки при работе, утечки информации и полный отказ системы
Сканирование на предмет возможных уязвимостей - Сканирование портов может дать злоумышленнику начальные данные для проведения полноценной атаки, такие как модели операционных систем, типы используемых сервисов и приложений. При нахождении уязвимого сервиса злоумышленник может получить доступ к управлению всей сетью, и, как следствию, к возможности причинить большой ущерб.
Низкая надежность по сравнению с традиционными сетям - Для достижения качественной связи, пакетам, содержащим голосовую и видео нагрузку присваивается высокий приоритет в механизмах качества обслуживания QoS (качества обслуживания). Однако, надежность VoIP и сетей передачи данных стремится к 99,9%, что ниже чем степени надежности в традиционных телефонных сетях, у которых данный параметр стремится к 99,999%. Конечно, разница не столь велика, однако за год эта разница выливается в дополнительные 8.7 часа, во время которых система не работает. Но необходимо понимать, что далеко не каждому предприятию это может повредить.
Атаки DDoS(Distributed Denial of Service) - Атаки DoS и DDoS происходят когда злоумышленник посылает крайне большие объемы случайных сообщений на одно или несколько VoIP устройств из одного или нескольких мест (DoS и DDoS соответственно). Атака из нескольких мест используется с помощью «зомби» - скомпрометированные сервера и рабочие станции, которые автоматически посылают вредоносные запросы в соответствии с потребностями злоумышленника. Успешной такая атака считается в момент, когда количество запросов превышает вычислительную мощность объекта, в следствие чего происходит отказ в обслуживании для конечных пользователей.
VoIP системы особенно уязвимы для таких атак, т.к они имеют высокий приоритет в технологии обеспечения качества обслуживания QoS, и для нарушения их работы требуется меньшее количество трафика нежели для обычных сетей передачи данных. Примером DoS атаки против именно VoIP сети может быть атака при множественной передачи сигналов отмены или установления вызова, которая так же имеет название SIP CANCEL DoS атака.
CID спуфинг - Один из типов атак с подменой пакетов построен на манипуляциях с идентификатором звонящего (Caller ID или CID), который используется для идентификации звонящего до ответа. Злоумышленник может подменить этот идентификатор текстовой строкой или телефонным номером и может использоваться для осуществления различных действий, вредящих сети или владельцу предприятия. Кроме того, в VoIP сетях нет возможности скрыть этот идентификатор, т.к телефонные номера включены в заголовках пакетов в протоколе SIP. Это позволяет злоумышленнику со сниффером пакетов, например tcpdump узнать телефонные номера даже если они имеют параметр «private» у сервисного провайдера.
Заключение - Использование IP-телефонии приносит огромное количество пользы для любой организации – решение на базе VoIP более масштабируемы, легко интегрируемы и их стоимость ниже классических решений. Однако, любая организация, внедрив VoIP решение должна быть в курсе возможных угроз и предпринимать всевозможные усилия для увеличения степени информационной безопасности в сети. Были перечислены лишь некоторые методы атак, но необходимо понимать, что часто используются комбинации атак и практически ежедневно разрабатываются новые атаки. Но понятно уже сейчас, что за данной технологией будущее и она вряд ли уступит пальму первенства другой технологии в обозримом будущем.
В продолжение нашей статьи про настройку Netflow на маршрутизаторах Mikrotik, сегодня мы расскажем про Ntopng — приложение, которое анализирует трафик в вашей сети. Устанавливать будем на CentOS 7.
Установка
Ntopng не доступен в дефолтных репозиториях CentOS 7, поэтому предварительно нам нужно будет выполнить определенные действия по их добавлению. Сперва, выполните команду по добавлению EPEL репозитория:
sudo yum install epel-release
Затем необходимо создать ntop репозиторий. Для этого нужно будет создать файл ntop.repo внутри директории /etc/yum.repos.d - для этого введите команду sudo nano /etc/yum.repos.d/ntop.repo.
В данный файл добавьте следующие строки:
[ntop]
name=ntop packages
baseurl=http://www.nmon.net/centos-stable/$releasever/$basearch/
enabled=1
gpgcheck=1
gpgkey=http://www.nmon.net/centos-stable/RPM-GPG-KEY-deri
[ntop-noarch]
name=ntop packages
baseurl=http://www.nmon.net/centos-stable/$releasever/noarch/
enabled=1
gpgcheck=1
gpgkey=http://www.nmon.net/centos-stable/RPM-GPG-KEY-deri
Для создания файла, конечно же, можно использовать любой текстовый редактор — не только nano. Но если хотите дотошно следовать инструкции, то, вероятно, сначала текстовый редактор придется установить с помощью команды yum install nano -y. После добавления нужных строк в файл сохраните изменения с помощью сочетания клавиш CTRL+O, и выйдите из файла командой CTRL+X.
Теперь переходим к непосредственно установке — выполните команду
sudo yum --enablerepo=epel install redis ntopng -y
. После этого просто соглашайтесь со всеми пунктами, и, спустя минут 5, все должно быть установлено.
Запуск сервисов и настройка ntopng
После установки ntopng, необходимо установить hiredis-devel пакет и запустить redis сервер до старта ntopng:
sudo yum --enablerepo=epel install hiredis-devel
Затем запускаем redis сервис и разрешаем ему автозапуск — и тоже самое делаем с ntopng.
sudo systemctl start redis.service
sudo systemctl enable redis.service
sudo systemctl start ntopng.service
sudo systemctl enable ntopng.service
Далее, проверим, работает ли ntopng командой sudo systemctl status ntopng.
Затем, превратим наш ntopng в бесплатную версию — для этого нужно отредактировать конфиг командой sudo nano /etc/ntopng/ntopng.conf и изменить строку:
-G=/var/tmp/ntopng.pid
на строку:
-G=/var/tmp/ntopng.pid
--community
После чего, сохраним и выйдем из файла и перезапустим ntopng:
sudo systemctl restart ntopng
Последний шаг — настроим фаерволл и перезагрузим его. Настройка заключается в разрешении порта 3000.
sudo firewall-cmd --permanent --add-port=3000/tcp
sudo firewall-cmd --reload
Первый запуск ntopng
Теперь осталось перейти по следующему адресу: http://yourhostip:3000. Логин и пароль по умолчанию — admin. Сразу после этого вам предложат изменить пароль.
Далее, вы увидите дэшборд, с разнообразной информацией, примерно как на скриншоте ниже:
Для понимания возможностей данного приложения — попробуйте посмотреть хосты, сети и прочие — в общем, попробуйте освоиться с функционалом.
Заключение
Всем спасибо за внимание, многие крупные вендоры сейчас уделяют особое внимание протоколу Netflow и придумывают различные сценарии применения. Как это может быть полезно именно для вас, пара примеров: после недельного анализа вашей сети вы поймете, что она была недостаточно сегментирована, или увидите какие-то подозрительные потоки. Дайте нам знать, если вам интересна более подробная настройка ntopng и софта, подобного ему — обязательно напишем про это статью! :).