По вашему запросу ничего не найдено :(
Убедитесь, что запрос написан правильно, или посмотрите другие
наши статьи:
Подключения прибора
Для подключения прибора к измеряемому потоку используются разъемы на задней (или верхней) стенке прибора:
Tx OUTliUT выход, или передача прибора подключить к Rx (прием) измеряемого потока;
Rx INliUT вход, или прием прибора подключить к Tx (передача) измеряемого потока.
На левой стенке расположен разъем EXT PWR для подключения адаптера внешнего питания. Прибор продолжительное время (несколько часов) может работать от встроенных аккумуляторов.
Включение прибора
Нажать клавишу <On> - через 2-3 секунды прибор включится.
В правом верхнем углу указано название текущего меню.
В нижней части дисплея указано назначение функциональных клавиш в данном режиме (смотри рисунок). При включении прибора отображается главное меню "Main menu".
Если вы не знаете, в каком меню находитесь и что делать дальше, нажмите кнопку <Main menu>. Далее, следуйте инструкции.
Контроль потока и подключения
В главном меню (Main menu) нажать кнопку <-more-> (клавиша S6), до появления в левом нижнем углу пункта меню <Monit>. Выбрав данный пункт (клавишей S1), вы попадаете в меню мониторинга, где возможно контролирование потока и отдельного канального интервала. В правом верхнем углу отображается состояние потока:
No signal нет сигнала на входе прибора. Возможно перепутаны прием/передача оборудования, или неисправен соединительный шнур;
AIS сигнал удаленной аварии. На дальнем конце измеряемый поток не нагружен;
Frame sync loss потеря цикловой синхронизации. Прибор принимает не тот сигнал, который передает. Возможно отсутствует шлейф на дальнем конце, или подключен не тот поток.
*Words* - "слова". Аварии отсутствуют - прибор принимает передаваемый им сигнал и готов к проведению измерений.
Проведение измерений
Для измерения потока E1 необходимо выполнить следующее:
Выйти в главное меню нажатием кнопки <MAIN MENU>
Нажать Menu1, основные параметры, убедиться, что выставлены параметры:
Первый столбец:
[Mode] режим, возможны значения:
RX/TX прием/передача, измерения по завороту;
RX прием, измерения на рабочем потоке, параллельно;
THROUGH через, поток пропускается через прибор;
DELAY.
Для измерений по завороту необходимо выбрать режим RX/TX
[Interface] - G.703 интерфейс G.703;
[Line code] - HDB3линейный код HDB3;
[Framing] - liCM30формат кадра ИКМ-30;
liCM-31 с использованием 16-го ки;
OFFбез цикловой структуры.
Рекомендации по выбору режима: выставить PCM-31. Если прибор не может засинхронизироваться, возникает аварийная сигнализация переключить в режим PCM-30. При невозможности проведения измерений в данном режиме возможно(но не рекомендуется) проведение измерений без цикловой структуры (режим OFF).
[Termination] 75/120Ω - сопротивление интерфейса 75/120 Ом;
[Tx Clc src] - INTERNисточник синхронизации передачи внутренний или FROM RX от сигнала приема;
[Kblis] - 2048 скорость передачи 2048 кбит/с;
Второй столбец:
[V.11 slot] - OFF ввод/вывод данных в какой-либо канальный интервал посредством интерфейса V.11 откл.;
[Rx slots] - канальные интервалы, по которым производится измерения, принимает значения:
OFF откл;
1(С1) - 1 канальный интервал (можно использовать любой ки от 1 до 31, не заблокированный в данном режиме);
nx64 несколько канальных интервалов, в данном режиме возможен выбор нескольких или всех канальных интервалов для проведения измерений. При выборе пункта <nx64> открывается меню "Rx Slots (BERT)", в котором производится выбор канальных интервалов:
ALL выбрать все
Clear очистить выбор (действие, обратное предыдущему)
Select выбрать ки, обозначенный курсором
De-select отменить выбор ки, обозначенного курсором
Return возврат в предыдущее меню
Рекомендации по выбору ки: как правило, измерения проводятся по полному потоку, то есть должны быть выбраны все канальные интервалы, последовательность действий: <Rx slots> <nx64> <ALL> <Return>
[Rx audio] OFF канальный интервал, который будет прослушиваться через встроенный динамик. Возможно указание любого ки, или отключение опции.На ход измерений не влияет;
[Rx signaling] OFF;
[Tx slots] - канальные интервалы, по которым передается тестовая последовательность. Возможны режимы:
OFF - откл. передача не осуществляется;
USER - по выбору пользователя;
AS RX - в соответствии с приемом. Выбраны те канальные интервалы, которые контролируются по приему;
IDLE - свободно, передается последовательность IDLE (задается в следующем меню, обозначает неиспользуемые ки);
1(С1) - 1 канальный интервал (можно использовать любой ки от 1 до 31, не заблокированный в данном режиме).
Рекомендации по выбору ки: рекомендуется выбрать режим <AS RX>
Примечание: в режиме Framing OFF параметры второго столбца отсутствуют. В режиме Framing PCM31 параметр Rx signaling отсутствует.
Перейти в следующее меню menu2, параметры тестовой последовательности:
Параметры по умолчанию:
[Idle liattern] 0110 1010;
[Bert liattern] 215 -1;
[Bert signaling] 1010;
[Idle signaling] 1010;
Bits/Block - 1000;
NFAS/NMFAS - norm;
Tx logic - norm;
Rx logic - norm.
Некоторые параметры могут отсутствовать в зависимости от выбора режима Framing. Ничего изменять не нужно.
Перейти в следующее меню menu3, проконтролировать параметры:
[Current test] - текущее измерение, при многократных измерениях для сохранения результатов номер измерения следует поменять на следующий.
Например, если произведено измерение под № 5, то при следующем измерении следует установить №6. Тогда в ячейке №5 результаты сохранятся;
[Timer] - On таймер включен.
В меню Timer необходимо задать продолжительность тестирования, для этого необходимо навести указатель на пункт Timer, нажать <edit> - откроется timer menu:
[Start time] - manual запуск теста - вручную;
[Duration] - продолжительность.
Userзадана пользователем, далее необходимо указать продолжительность тестирования: 0 days (дни) 0 hrs (часы) 15 mins (минуты). При необходимости возможен режим Continпродолжительный, до остановки пользователем. Далее нажать Return, чтобы вернуться в предыдущее меню.
[Autolirint] - Off - автоматическая печать выключена;
G.821 - ITU-T - контроль по протоколу G.821 включен, согласно рекомендации ITU-T;
[Alarms] All on - контроль аварий все аварии;
[Resolution] - HRS/MINS - частота записи результатов часы/минуты;
[Beelier] - Off;
[Err inject] - Ratio - ввод ошибок.
Нажать кнопку <Run> - запуск. Начнутся измерения.
На экране появляется информация о производимых измерениях: правая часть экрана краткая информация о параметрах измерений, левая часть экрана надпись ОКили присутствующие аварии и зафиксированные ошибки.
RX/TX - режим измерений;
G.703, liCM31 - основные параметры измерений;
Rx - звездочкой обозначены измеряемые канальные интервалы, если стоит точка канальный интервал пропускается;
Total seconds - время в секундах, прошедшее с начала измерений;
Bit err ratio - коэффициент битовых ошибок.
Перенос результатов измерений в ПК
По завершении измерений на экране отображаются краткие результаты. Для переноса измерений на компьютер необходимо:
Выключить прибор и перенести его к месту установки компьютера.
Подключить прибор к компьютеру, для этого: порт V.24/RS-232 прибора (с правой стороны) подключить через переходной соединительный кабель к com-порту компьютера.
Запустить на компьютере программу HyperTerminal. (В программе HyperTerminal должен быть задан номер com-порта, к которому подключен прибор и параметры соединения: скорость 9600 бит/с; биты данных 8, четность нет; стоповые биты 1; управление потоком Xon/Xoff)
Включить прибор.
Найти пункт меню "Memory". Если его нет, можно нажать кнопку <more>, для отображения других возможностей меню до появления нужной кнопки.
В меню "Memory" отображаются все сохраненные результаты, установить курсор на нужном пункте (можно определить по дате и времени измерений)
Нажать <Results>, на экране появятся результаты измерений, нажать кнопку <Print>, результаты будут переданы в окно HyperTerminal. Из окна программы результаты можно скопировать и вставить в любой текстовый документ: WordPad (блокнот) или Microsoft Word.
_____________________________________________________________________________
ACTERNA E1 SERVICE TESTER EST-125 09:32 11 Mar 2011
_____________________________________________________________________________
Printout of menu settings
*Setup Menu 1*
Mode RX/TX
Interface G.703
Line code HDB3
Framing PCM31C
Termination 75/120 Ohm
Tx Clk source INTERN
kbps 2048
V.11 OFF
Rx slots BERT-Rx 1 2 3 4 5 6 7 8 9 10 11 12
13 14 15 16 17 18 19 20 21 22 23 24 25 26 27
28 29 30 31
Rx audio OFF
Tx slots AS RX
*Setup Menu 2*
Idle pattern 0000 0000
BERT pattern 2^15-1
Bits/Block 1000
Rx logic NORM
Tx logic NORM
*Setup Menu 3*
Autoprint OFF
G.821 ITU-T
Multiframe ITU-T
Alarms USER
Resolution HRS/MINS
*Alarm Display*
AIS ON
Fr Sync ON
All ones ON
All zeros ON
Patt loss ON
Patt Inv
Slip ON
Dist Fr ON
Bit error ON
CRC err ON
FAS err ON
Code err ON
_____________________________________________________________________________
ACTERNA E1 SERVICE TESTER EST-125 09:33 11 Mar 2011
_____________________________________________________________________________
Printout of test results for test number 2
Start time 09:25 10 Mar 2011
Stop time 09:25 11 Mar 2011
Total test time (seconds) 86400
Line rate 2047994
Total code errors received 0
Total mean Code Error Ratio 0.000E 0
Bit rate 1983995
Total bits received 1.174E 11
Total errors received 0
Total mean Bit Error Ratio 0.000E 0
Total blocks received 1.174E 8
Total block errors received 0
Total mean Block Error Ratio 0.000E 0
Seconds of no signal 0
Seconds of AIS
Seconds of pattern sync loss 0
Seconds of Pattern Inverted 0
Seconds of all ones 0
Seconds of all zeros 0
Seconds of slip 0
Seconds of frame sync loss 0
Seconds of distant frame alarm 0
Total FAS word errors 0
Total number of frames 0
Total number of frames 6.912E 8
Total mean FAS word error ratio 0.000E 0
Total CRC word errors 0
Available time 86400 100.00000%
Unavailable time 0 0.00000%
Error free seconds 86400 100.00000%
Errored seconds PASS 0 0.00000%
Severely errored seconds PASS 0 0.00000%
Severely errored seconds PASS 0 0.00000%
Перенос или миграция базы данных MySQL или MariaDB между серверами обычно занимает всего несколько простых шагов. В этой статье мы расскажем про них, и вы сможете легко перенести данные со старого Linux сервера на новый, импортировать и выполнить проверку того что все прошло без ошибок. Поехали!
Подготовка
Первым делом нужно убедиться, что и на старом, и на новом сервере установлена одинаковая версия MySQL с одинаковым дистрибутивом. Для этого в командной строке выполните:
mysql -V
После этого нужно убедиться, что на новом сервере хватает места для файла дампа старой базы и импортированной базы данных (например, используя команду df).
Экспортируем базу данных MySQL в файл дампа
Внимание! Не переносите каталог data на новый сервер и не меняйте внутреннюю структуру БД.
Сначала на старом сервере остановите службу mysql или mariadb, используя команду systemctl:
# systemctl stop mariadb
ИЛИ
# systemctl stop mysql
Затем сделайте дамп ваших баз MySQL с помощью команды mysqldump:
# mysqldump -u
[user] -p --all-databases > all_databases.sql
Если база одна, то можно использовать команду:
# mysqldump -u root -p --opt [database name] > database_name.sql
Перенос дампа MySQL на новый сервер
Теперь используйте команду scp, чтобы перенести файл дампа на новый сервер. После подключения база будет перенесена на новый сервер.
# scp all_databases.sql user@merionet.ru:~/ [Все базы]
# scp database_name.sql user@merionet.ru:~/ [Одна база]
Импорт файла дампа MySQL на новый сервер
После того как файл дампа был перенесен, нужно выполнить следующую команду для импорта всех баз данных в MySQL.
# mysql -u [user] -p --all-databases < all_databases.sql [All Databases]
# mysql -u [user] -p newdatabase < database_name.sql [Singe Database]
Проверка импорта
После завершения импорта вы можете проверить базы данных на обоих серверах:
# mysql -u user -p
# show databases;
Перенос баз данных и пользователей MySQL на новый сервер
Если нужно переместить все свои БД MySQL, пользователей, разрешения и структуру данных старого сервера на новый, то нужно использовать команду rsync. С ее помощью скопируется весь контент из каталога данных mysql или mariadb на новый сервер.
# rsync -avz /var/lib/mysql/* user@merionet.ru:/var/lib/mysql/
Как только передача завершится, вы можете установить владельца каталога данных mysql или mariadb для пользователя и группы mysql. Для того чтобы убедиться, что что все файлы были переданы можно выполнить просмотр каталога.
# chown mysql:mysql -R /var/lib/mysql/
# ls -l /var/lib/mysql/
Готово! Мы только что очень быстро и просто выполнили миграцию всех баз со старого сервера на новый.
Какое будущее ждет нас в контакт центрах с точки зрения кастомер сервис (клиентского сервиса)? Как компании создают новые пространства для коммуникации со своими потребителями? Будем говорить про чат боты - будущее клиентского сервиса.
На цифрах, кейсах, исследованиях, в том числе социальных, постараюсь рассказать о том, почему в контакт центрах будущего, живых операторов будет меньше, а VoIP (классические телефоны) и CTI (интеграция компьютерных приложений и телефонии) отойдет на второй план.
Посмотреть доклад
Чат - боты это определенно хайповая история, несмотря на то, что сам хайп сейчас немного поугас. Компании абсолютно разного уровня внедряют чат - ботов: от больших банков, где чат бот органично вписывается в ИТ экосистему и помогает сократить косты на операторов и снизить их загрузку на рутинные операции до маленьких компаний, e-commerce или туристических фирм, где смысл чат - бота скорее сводится к тому, чтобы показать уровень технологичности на ряду с более "аналоговыми" конкурентами.
Посмотрим на крупных игроков IT рынка, которые уже бороздят просторы ML/AI в поиске способа доставить счастье своим пользователям, среди них как Zero UI решения, которые вовсе не имеют привычного интерфейса, так и уже вполне рабочие чат боты:
Алиса - умный помощник от Яндекс. Это мозги, которые живут почти во многих приложениях Яндекса и в хардварных устройствах. Кстати, по данным Яндекса, в приложении поиска доля голосовых запросов на октябрь 2018 года была 20%.
Помимо пользовательских сценариев, Алиса сможет решать конкретные бизнес задачи по клиентскому обслуживанию клиентов вашего контакт центра, как автоматизированном режиме, так и в режиме диалога с оператором. Это реализуется с помощью платформы Яндекс.Диалоги - легкий способ связать жителя экосистемы Яндекса с вашим бизнесом, так сказать, не отходя от кассы. Кстати, количество активных пользователей алисы в месяц (MAU) 35 млн. - подумайте, сколько из них ваших потенциальных или текущих клиентов.
Про Amazon и их разработки. Вы наверное слышали про виртуальный ассистент Alexa. Внутри алексы используются алгоритмы Amazon Lex
А так как Amazon научился монетизировать свои технологии как никто другой, то они продают Amazon Lex в видео фреймворка (интерфейса) для создания приложений - как голосовых так и текстовых, в которых используются алгоритмы понимания естественных языков (NLU), и распознавания речи ASR. О первых я расскажу подробнее в конце статьи.
Фреймворк, как заявляют ребята с Амазона, в контексте контакт центров классно подходит для рутинных операций - смена пароля, баланс, встреча с представителем компании и некоторые другие.
Бот помощник Олег от банка Тинькоф. Бот помогает управлять кредиткой или дебетовой картой или заказать финансовые документы, снижая нагрузку на живых операторов и помогает закрыть пользовательские сценарии, купить билеты в кино и забронировать столик в ресторане.
Тут можно отметить 2 самых очевидных пункта, которые дает бот:
Ретеншн (вовлеченность) пользователей. Экосистема с элементами фана повышает вовлеченность к бренду и втягивает пользователей в экосистему. Билеты в кино, скидки, столики, переводы, а еще и голосом с ботом, который может ответить что то смешное или даже грубое, что насмешит друзей и спровоцирует цепочку рассылки диалога друзьям. Из этого вытекает следующий пункт:
Виральность - распространяемость контента. На старте бот Тинькоф отвечал пользователям весьма неоднозначно. Например, на старте, попросив "сотку" у банка вы рисковали получить неплохую ответочку:
Этот ответ массово распространился по социальным сетям. Это и есть та самая виральность.
Вообще много мнений и обсуждений, касаемо чат ботов: начиная от того, что рынок еще не готов и сама технология бесполезна, заканчивая тем, что люди не любят общаться с чат ботами. Если два первых барьера мы с вами обсудили, то про второй я хочу поговорить немного подробнее.
Блок про поколение Z - почему он в соц. сетях и не любит голос
Впервые в истории, в 2011 в UK заметили, что объем телефонных звонков упал на 10%. При более детальном анализе было обнаружено, что максимально влияющая на падение показателя когорта пользователей - это люди 16 - 24 лет, которые предпочитают текстовую коммуникацию.
К обеспокоенности провайдеров, масла в огонь подлил государственный медиарегулятор Ofcom (управление по коммуникациям), отчитавшись - 96% британцев в возрасте 16 - 24 используют текстовые сообщения каждый день.
Итак, кто эта группа - 16 -24? Условно говоря, это люди рожденные после 1995 по 2012 года, и поздние Z - рожденные после 2000.
Частично, тенденции к цифровизации и ухода в онлайн начали проявляться и у Миллениалов или, как принято их называть Поколение Y. Это люди рожденные с 1981 и до 1996 года.
Несколько факторов, которые характеризуют поколение Z:
Поколение Z очень целеустремленны. как пишут в исследованиях, это, "most success oriented". Взросление в процессе рецессии, войны, террористических атак, трудные времена на территории РФ. Зачастую, им приходилось наблюдать за борьбой родителей в трудные времена. Масла в огонь подливали миллениалы, полностью зацикленные на карьере.
Настроение на успех на выходе дает следующий пункт, пусть и сомнительный - многозадачность.
Многозадачность. Поколение Z чувствует себя спокойнее, выполняя несколько задач одновременно. Запостить фотографию в инстаграм, написать друзьям, почитать новости на медузе, сделать фильтра в снэпчате, погонять слова в скаенге. Мы не говорим об эффективности подобных активностей (которая по моему мнению, околонулевая), мы говорим про сам посыл.
Тут и возникает важный нюанс - в контексте решения многозадачности, Z, решая свои вопросы с компанией, у которой они берут услугу, предпочтут отправить сообщение в бот в телеграмме или в приложении и ждать ответа, чем висеть на телефоне, холде, ждать ответа оператора и просто говорить голосом.
Но это не главная причина. Важнейшей является то, что поколение Z нативно вросло в digital.
Нативно в digital. Z находятся в цифровом пространстве полностью. Мессаджинг (текстинг), мемы, фотографии, лайки, обсуждения, снэпчаты - среда, в которой они существуют. И в ней, телефонному звонку, да и голосовой коммуникации в целом остается все меньше и меньше места.
Соответственно, Z ожидают, что диджитал будет окружать их везде - решить проблемы с банком, заказать услугу, купить товар или еду, путешествия и прочее. Не давая им возможности обратиться в диджитал, мы рискуем потерять эту аудиторию.
Существует множество других характеристик, которые прямо или косвенно влияют на стремление Z к цифре:
Конфиденциальность - Z очень ценят свою конфиденциальность. Представьте Z, который едет в полном автобусе, звонит в контакт центр, где его просят назвать кодовое слово? Кажется, он будет слегка сконфужен
Z легко принимают новое
Вот такие они, эти ребята в гучи, суприм и кроссовках на высокой платформе. Давайте закрепим и посмотрим, что об этом думают большие компании.
Пруфы того, что это важно
В феврале 2018 года в Токио консалтинговая компания Гартнер отчиталась - к 2020 году 25% всех клиентских итераций будут происходить через VCA (virtual customer assistant), если переводить дословно - виртуальных клиентских помощников, или чат ботов, в контексте моего доклада и контакт - центра.
Джин Альварез, вице - президент в Гартнер отчитался, что более чем половина крупного энтерпрайза уже начали инвестировать и исследовать виртуальных помощников, в разрезе решения стандартных вопросов с последующей эскалацией сложных на агента. Вот цитата Джина (Gene Alvarez):
"As more customers engage on digital channels, VCAs are being implemented for handling customer requests on websites, mobile apps, consumer messaging apps and social networks"
Перевод:
С погружением клиентов в цифровые каналы коммуникации, все больше VCA (виртуальные клиентские помощники) внедряются для обработки клиентских запросов на сайтах, мобильных приложениях, мессенджерах и соц. сетях"
Это важно, так как мы обсудили ранее, для подрастающего платежеспособного поколения Z - цифровые каналы это нативные вещи.
Помимо прочего, важная цифра: организации, использующие VCA, в среднем, смогли сократить количество звонков, операторских чатов и писем на 70% и срезали косты на телефонию в среднем на 33%. В отчете так же было отмечено увеличение общего уровня удовлетворенности клиентов. Я не стану добавлять это в статью, так как Гартнер поленился рассказать, какие метрики для этого они посчитали и как измерили.
Дальше. Ребята из Juniper Research еще в 2017 году говорили, что чат - боты - гейм чейнджер для банков и здравоохранения.
Джунипер прогнозирует, что количество клиентских взаимодействий с чат-ботами в здравоохранении увеличится с 12% до 75% к 2022 году, а в банковском секторе достигнет 90% к этому времени.
Автор исследования Лоурен Фои (Lauren Foye) объясняет:
"We believe that healthcare and banking providers using bots can expect average time savings of just over 4 minutes per enquiry, equating to average cost savings in the range of $0.50-$0.70 per interaction. As Artificial Intelligence advances, reducing reliance on human representatives undoubtedly spells job losses."
Перевод:
Мы считаем, что банки и компании в области здравоохранения, используя чат- боты могут сэкономить более 4 минут на один клиентский запрос. Это примерно 50 - 70 центов за одну итерацию.
4 минуты на обращении что примерно ровняется $0.5 - $0.7. Лоурен пугает нас тем, что развитие AI (искусственного интеллекта) так или иначе приведет к потере работы многими людьми. Спасибо Лоурен, тебя это тоже коснется.
Кстати, про искусственный интеллект. А точнее про одно из его направлений NLP (Natural Language Processing), или говоря по русски, обработку естественного языка.
Про natural language processing (NLP). Обработка естественного языка
Кратко пробежимся по технологии, которая драйвит эту отрасль. NLP - обработка естественного языка. Это направление породила одна проблема: компьютеры прекрасно справляются со структурированными данными, таблицами, приведенными к единообразию датасетами, но мы с вами общаемся не методами структурами, а словами. Тут и появилась идея научить машины понимать живой человеческий язык.
В рамках решения этой задачи, как и в любой другой задаче машинного обучения, принято разбивать задачу на последовательность подзадач. Это называется пайплайн, он же конвейер процессов, которые необходимо выполнить. Давайте попробуем кратко разобраться на примере текста, взятого из википедии про Лондон:
London is the capital and most populous city of England and the United Kingdom. Standing on the River Thames in the south east of the island of Great Britain, London has been a major settlement for two millennia. It was founded by the Romans, who named it Londinium.
Тут есть несколько сегментов полезной информации про Лондон, где он находится и кем основан.
1. Дробим на предложения
Первый этап пайплайна - дробим текст на предложения. Самое простое - по знакам препинания. Но современные алгоритмы используют более хитрые способы. Вот что у нас получилось:
London is the capital and most populous city of England and the United Kingdom.
Standing on the River Thames in the south east of the island of Great Britain, London has been a major settlement for two millennia.
It was founded by the Romans, who named it Londinium.
Три отдельных смысловых блока. Отлично.
2. Токенизация
Оно же выделение слов. Так как мы уже разбили текст на предложения, берем первое и дробим - алгоритм прост - разбиение по пробелам или знакам препинания
"London", "is", "the", "capital", "and", "most", "populous", "city", "of", "England", "and", "the", "United", "Kingdom", "."
3. Части речи
Теперь смотрим на каждое слово отдельно и понимаем, что это - существительное, глагол, прилагательное или еще что то. Готовые фреймоврки обучены на на миллионах слов и учитывают слова стоящие рядом, для повышения точности определения.
Получаем:
London - имя собственное
is - глагол
the - артикль
capital - существительное
and - союз
most - наречие
populous - прилагательное
4. Лемматизация
Лемматизация (англ. lemmatization) - приведение словоформы к ее первоначальной словарной форме (лемме). По факту, это отсечение окончаний и использование основой формы.
Например, в русском языке словарной формой считается:
существительные - именительный падеж, единственное число (руками - рука)
глаголы - инфинитивная форма (искали - искать)
прилагательные - единственное число, именительный падеж, мужской род (телекоммуникационными - телекоммуникационный)
В NLP лемматизация обычно выполняется простым поиском форм в таблице. Вот что мы получаем:
London - имя собственное (уже начальная форма)
is - глагол (превращается в be)
the - артикль (уже начальная форма)
capital - существительное (уже начальная форма)
and - союз (уже начальная форма)
most - наречие (уже начальная форма)
populous - прилагательное (уже начальная форма)
5. Стоп слова
В нашем примере мы рассматриваем англоязычный фрагмент текста. Поэтому, из него нужно убрать слова, которые создают избыточный шум - артикли, например "and", "the", "a". Обычно, это делается по готовым таблицам.
Снова смотрим на наше предложение:
London - имя собственное (уже начальная форма)
is - глагол (превращается в be)
the - артикль (уже начальная форма)
capital - существительное (уже начальная форма)
and - союз (уже начальная форма)
most - наречие (уже начальная форма)
populous - прилагательное (уже начальная форма)
6. Парсинг зависимостей
Следующим шагом нам важно понять взаимосвязь слов в предложении. Нужно понять, кто является родителем для каждого из токенов (слов) и установить тип взаимосвязи: субъект предложения, свойство, логическая связь, определение и так далее.
В результате мы получаем уже почти готовое дерево связей. Логическим продолжением этого шага является группировка токенов по признакам взаимосвязи.
Было:
London - имя собственное (уже начальная форма)
is - глагол (превращается в be)
the - артикль (уже начальная форма)
capital - существительное (уже начальная форма)
and - союз (уже начальная форма)
most - наречие (уже начальная форма)
populous - прилагательное (уже начальная форма)
Стало:
London
is
the capital
and
most populous city
7. Распознавание именованных сущностей (Named Entity Recognition, NER)
Двигаясь по пайплайну мы подходим к самому интересному, на мой взгляд, шагу - распознавание смысла слов. Вы уже заметили, что в нашем предложении встречаются географические сущности, такие как "London", "England" и "United Kingdom". На этом этапе пайплайна мы пониманием что это географический объект и определяем это, наполняя наш текст смыслом. NER алгоритмы хорошо работают с такими объектами как:
имена людей;
названия компаний;
географические обозначения (и физические, и политические);
продукты;
даты и время;
денежные суммы;
события.
Тут важно отметить, что хорошая NER система это не только словари. Они так же просматривают контекст предложения и окружение каждого конкретного токена. Адекватный NER должен уметь отличить американскую актрису Дакоту Фаннинг от штата Дакота на севере США
8. Разрешение кореференции
Если быть кратким, то это решение вопроса с местоимениями, которые во всем тексте означают тот или иной объект. Вернемся к нашему изначальному тексту, который мы разбивали на предложения
London is the capital and most populous city of England and the United Kingdom. Standing on the River Thames in the south east of the island of Great Britain, London has been a major settlement for two millennia. It was founded by the Romans, who named it Londinium.
Обратите внимание на "It was founded by the Romans, who named it Londinium." Это было основано римлянами. Это? Что это?
Вот и задача для для алгоритмов связать, что Это в данном контексте - это = Лондон.
9. Итог. Полный пайплайн NLP
Итак, подытожим. Чтобы получать смыслы из речи человека текст проходит мощную обработку в конвейере NLP. Помимо прочего, NLP можно юзать и в голосовых технологиях, преобразуя речь в текст в рамках ASR механизмов и снова пропуская через пайплайн NLP.
Суммарно, чтобы читать между строк и получать смысла информация перемалывается через эти 9 шагов (где то их может быть меньше, а где то в другом порядке, например):
Дробим на предложения
Токенизация
Части речи
Лемматизация
Стоп слова
Парсинг зависимостей
Группировка токенов (существительных)
Распознавание именованных сущностей (Named Entity Recognition, NER)
Разрешение кореференции
Кто делает?
Продуктов много. Есть как тривиальные инструменты создания блок - схем (статичных алгоритмов обработки запросов), так и интерфейсы с продвинутым NLP, о котором мы поговорили ранее, есть энтерпрайзные решения, есть и решения для SMB. Не делая рекламы, поговорим про бесплатные решения. Rasa.com
RASA.com
Ребята дают бесплатный фреймворк для быстрого старта. Есть энтерпрайз коммерческие тарифы, которые дадут SLA и не комьюнити бэйзд гарантии. У ребят 0.5 млн загрузок по миру, 3.5 активных участников комьюнити.
Схематично парни из раса.ком обозначили принципы работы их чат бота как на картинке:
Можно попробовать абсолютно бесплатно, дав плечо фреймворку в свои данные.
Итоги
С развитием машинного обучения цифровое будущее становится все ближе и ближе. На руку прогрессу и развитию роботизации в клиентском сервисе играют поколенческие факторы, общие характеристики нового поколения, тренды и даже политическая обстановка. Будьте первыми, будьте актуальными, будьте технологичными и свежими.