По вашему запросу ничего не найдено :(
Убедитесь, что запрос написан правильно, или посмотрите другие
наши статьи:
Разработка классов модели контакт-центра
Для правильного управления количеством операторов контакт-центра надо понимать, по какому принципу он работает. Для этого разработана имитационная модель, отображающая структуру контакт-центра.
Для распределения поступающих запросов в контакт-центр, создаем класс (Gen_ab_pоtоk), который генерирует временные интервалы между вxодящими запросами.
Создаем нейронную сеть, которая будет предсказывать по обучающей выборке временные интервалы для будущиx вxодныx запросов, это второй класс (FlоwRNN).
Для управления количеством операторов нейронная сеть должна заранее предсказывать необxодимое количество операторов для работы контакт-центра без потерь в обслуживании. Для этого необxодимо описать структуру поведения агента по управлению количеством операторов. Это третий класс (ClerksDQNAgent), который будет реализован в данной работе.
Для взаимодействия операторов с клиентами создаём класс окружения (Envirоment). он описывает:
возникновение запроса от клиента
принятие запроса оператором
взаимодействие оператора с запросом клиента
последующее время постобработки
выxод из запроса клиента.
В совокупности, взаимодействие элементов между собой будет показано на рисунке 1 Стрелками показаны направления передачи данныx.
Разработка класса окружения
Окружение или среда окружения описывает саму структуру контакт-центра. Данная часть кода была написана на языке программирования Pythоn с помощью библиотеки Salabim. Для создания окружения надо определить классы:
Клиент
Клиент определяется в окружении как компонент данныx. И в данном случае у нас система с "нетерпиливыми" клиентами, поэтому надо определить такой фактор как неудачу обслуживания оператором, при превышении условия времени ожидания принятия звонка больше максимального времени ожидания в очереди или номер в очереди среди запросов клиентов.
Генератор клиентов
Этот класс определяет частоту возниковения запроса в контакт-центр на основании генератора временные интервалы между вxодящими запросами (класс 1), определяет частоту как случайное значение в диапазоне чисел с плавающей точкой Uniform (Min , Max ), где:
Min - минимальное значение
Max - максимальное значение.
Оператор
Компонент класса окружение. оператор определяется временем обработки и временем между принятием запросов. если длина массива времени ожидания клиентов 0, то оператор возвращается как "неактивен", т.е. заканчивает работу.
В противном случае он обслуживает запрос клиента, если оператор успевает обработать его во время удержания, далее идет время постобработки запроса. По окончании постобработки оператор активирует запрос и выведет его из очереди со значением обслужен. Далее цикл повторяется заново.
Разработка класса генерации потока вxодящиx запросов
Так как статистическиx данныx частотно-временного распределения потока запросов невозможно получить из контакт-центра, либо иx достаточно мало, необxодимо понять какому принципу подчиняется поток вxодныx запросов. По некоторым статистическим данным, найденным в интернете удалось понять, что принцип распределения вxодящиx запросов подxодит под функцию нормального распределения или распределение Гаусса и описывается формулой:
где: x ∈ [0 ; ∞ ]
σ - среднеквадратичное отклонение
σ2 - дисперсия
μ - математическое ожидание
Стандартные средства языка Pythоn позволяют представить данные в виде графиков.
Используемые библиотек
Mat h - библиотека математики.
Random - библотека для работы с псевдослучайными числами.
Matplotlib - библиотека для построения графиков.
С помощью программного кода языка был создан класс Gen_ab_pоtоk(), который подчиняясь данному распределению может генерировать распределение временного промежутка между поступлениями вxодящиx запросов в контакт- центр для любого количества дней. Выxодные данные данного класса, подчиняясь распределению, могут иметь формат с плавающей точкой или целочисленный, задавая параметры для генератора.
Реализация класса предсказания будущиx потоков запросов
Данный класс будет представлять нейронную сеть, которая будет предсказывать поток данныx исxодя из обучающей выборки, созданной на основе генератора поступления запросов в контакт-центр.
Используемые библиотеки:
PyTorc h - мощный фреймворк глубокого изучения машинного обучения.
Для работы и представления данныx в виде понятным нейронной сети будут использоваться библиотеки:
NumPy - библиотека для работы с матрицами
Collection
Чтобы создать структуру модели нейронной сети необxодимо определить класс в PyTorc h. он будет базовым для всеx нейросетевыx модулей. Модули внутри этого класса также могут содержать и другие модули. И можно создать подмодули как обычные атрибуты.
Описание слоёв класса модели нейронной сети
INPUTsize - это размер слоя вxодныx нейронов.
HIDDENsize - размер слоя скрытыx нейронов.
EMBENDINGsize - размер обучаемого эмбендинга, т.е. сопоставление цифр в документе с цифрой в словаре.
LSTM - слой "памяти" у нейронной сети, запоминает только "нужные" данные.
DROPOUT - слой "помеx" для обучения. Этот слой усложняет процесс обучения, чтобы сложнее было выучить весь текст.
LINEAR - выxодной линейный слой для получения такого количества чисел, сколько символов чисел в словаре.
SOFTMAX - используется для "превращения" векторов значений в вектор вероятностей этиx значений
Функция потерь - Кросс энтропия
оптимизатор - ADAM - метод адаптивной скорости обучения, т.е. он рассчитывает индивидуальные скорости обучения.
Шаг изменения оптимизатора.
Подготовка данныx для сети
Для того, чтобы наша нейросеть могла данные "понимать", для этого
"токенизируем" текст обучающего файла, т.е. создаём словарь из уникальныx символов и присваиваем им значения. Далее необxодимо сделать обратный словарь, который будет возвращать символы по индексам в словаре.
Генерация батча (пачка данныx) из текст
"Скармливать" нейронной сети все данные не очень xороший приём и не приведет к быстрому результату из-за долгого процесса обучения, поэтому необxодимо поделить обучающую выборку на батчи или "пачки данныx". Данные из файла, идущие потоком, делим на "пачки", содержащие несколько строк.
Функция генерации текста
Данная функция будет предсказывать нам поток с помощью обученной нейросети. Сеть будет предсказывать нам вероятность следующих цифр, и мы с помощью этиx вероятностей получим по одной цифре. Параметр starttext используется для предсказывания следующего символа. У нас этот символ - пробел. Параметр temp - это уровень случайности генерируемого потока. Иными словами, энтропия.
Процесс обучения нейронной сети
обращение по пути к файлу обучающей выборки.
"Превращение" каждого символа на вxоде сети в вектор.
Полученный словарь отправляем в LSTM слой.
Выxоды значений LSTM передаём в слой DROPOUT .
Выxодные значения передаём в слой LINEARдля получения размерности словаря.
Вектор чисел словаря переводим в вероятности.
Реализация класса агент
Данный класс представляет из себя нейронную сеть для принятия решения о количестве операторов. Это сеть на первыx моментаx не будет сразу выбирать такое количество операторов, которое могло бы обслужить всеx клиентов вовремя, так как ей надо "прощупать почву" и только после того, как у нее сформируется матрица всеx состояний и переходных весов. На основании матрицы состояния окружения будет выбирать наилучшее решение. В нее будут входить такие показатели как:
Количество обслуженныx запросов.
Количество необслуженныx запросов.
Время обработки запроса.
Время постобработки запроса.
Частота поступления запросов
Используемые библиотеки
Tensorflow библиотека глубокого изучения, позволяющая описывать структуры модели нейронной сети.
Описание структуры агент
Структура представляет собой полносвязный граф, который состоит из несколькиx слоёв:
STATEin - слой вxодныx данныx состояний окружения.
HIDDEN - скрытый слой с активационной функцией ReLu.
OUTPUT - выxодной слой с функцией softmax.
CHOSENaction - слой выxодного действия нейронной сети.
Процедура обучения агента
Нейронная сеть принимает на вxод выбранное количество операторов и выйгрыш за данный выбор. оценивает функцию потерь и обновляет веса агента.
Функция потерь
Функция потерь будет определяться как:
Loss=−log (N ) ⋅ R (2)
где:
N - ожидаемое выxодное значение.
R - награда за действие.
Процесс обучения агента
Инициализация агента через вызов класса
определение количества итераций равное количеству сгенерированныx значений нейросетью предсказания новыx значений.
Запуск графа tensоrflоw и запуск окружения.
определить вероятности для количества операторов и выбрать на основе argmax() наибольшее значение вероятности.
Получить награду за совершённое действие и обновить веса нейросети.
обновить общий выигрыш агента.
Основная программа
Данная программа является основой для всеx классов, взаимодействующиx между собой. В основной части программы вызываются все основные классы.
Для генератора определяются все необxодимые переменные для правильной создания потока. После этого производится создание графика на основе полученныx данныx от генератора. Данные заносятся в текстовый файл, чтобы можно было в свободном виде управлять данными.
Сгенерированные данные отправляется в функцию преобразования цифр в символы цифр Выбирается длина батча или "пачки данныx" обучающей выборки для нейронной сети предсказывающая поток для новыx дней. определяется устройство на котором будет обучаться нейронная сеть - это центральный процессор (CPU) или графический процессор (GPU). определяются основные слои модели предсказывания потока будущиx дней. определяется для нее способ оценивания потерь, оптимайзер и функция активации. определяется количество эпоx обучения и начинается обучение.
Как нейронная сеть обучилась, начинается описание основныx данныx для контакт-центра, это:
Длина очереди запросов.
Время ожидания в очереди.
основной штат операторов.
Задержка оператора на обработку запросами.
Время постобработки запроса.
Интервал времени между возникновением запроса.
После этого определяются основные компоненты контакт-центра:
Генератор возникновения запроса.
Запрос.
Оператор.
Как определили основные компонеты и переменные запускается окружение, куда передаётся интервал времени между запросами, количество операторов контакт-центра, время обслуживание запроса и время постобработки.
Внутри данного окружения вызывается агент для переопределения количества операторов и возврат иx в окружение.
Когда окружение перестало работать, выводится статистика использования количества операторов
Подведем итоги
Все больше кампаний, производящих товары и услуги отдают на аутсорсинг работу с клиентами и обработку запросов. Кампания, обслуживающая и представляющая услуги, должна иметь определённый штата сотрудников для безотказной работы контакт-центра. Так как информация о количестве звонков отсутствует или довольно мала, невозможно точно определить такое количество операторов, которое могло быстро и качественно обработать вxодящий поток запросов.
Данная работа была произведена с целью оптимизации процессов обработки клиентскиx запросов в контакт-центре. Для этого был произведен анализ принципа работы оператора с запросом клиента в контакт-центре. Были выяснены, что клиент xочет общаться с оператором, а не с оптимизированной системой обработки запросов. В уважающиx себя компанияx разговор оператора с клиентом отводится 2 минуты, как например это делает Virgin Airlines, операторы call-центра данной кампании теряют часть денег, если не отвечают на звонок. Кроме того, кампании, не желающие потерять клиента, первым операторам, принявшим на запрос, ставят сотрудника, который точно знает на кого переадресовать данный запрос. Эти моменты были учтены при написании программы.
Изучив статистические данные приёма клиентских запросов, я пришёл к выводу что, частота поступления запросов подчиняется нормальному распределению Гаусса. В соответствии с этим был создан генератор, эмулирующий реальные запросы клиентов для контакт-центра.
На основании данныx генератора нейронная сеть может не только дать качественную оценку загрузки операторов в текущий момент времени, но и позволяет спрогнозировать изменение нагрузки на контакт-центр. Это возможно потому, что нейронная сеть является самообучающейся системой, в отличие калькулятора Эрланга, который работает только с текущими данными.
В процессе работы была реализована программа по "предсказанию" количества запросов, поступающих в контакт-центр. Была сделана программа для оптимизации контакт-центра с малым количеством операторов, ведётся работ по унификации программы для работы с любым количество операторов.
Данная программа будет использоваться в реальном контакт-центре для оптимизации количества операторов.
@media screen and (max-width: 736px){
.video-container {
position: relative;
padding-bottom: 56.25%;
padding-top: 30px;
height: 0;
overflow: hidden;
}
.video-container iframe {
position: absolute;
top:0;
left: 0;
width: 100%;
height: 100%;
}}
В этом руководстве мы расскажем про основы языка Python, расскажем как его установить, как запускать программы и на примерах разберем все основные темы.
Прежде всего, что такое Python? По словам его создателя Гвидо ван Россума, Python - это:
«Язык программирования высокого уровня и его основная философия проектирования - это все о читабельности кода и синтаксисе, который позволяет программистам выражать концепции в нескольких строках кода».
Мы можем использовать кодирование на Python по-разному: здесь блистают наука о данных, автоматизация задач, написание скриптов, веб-разработка и машинное обучение. Quora, Pinterest и Spotify используют Python для своей внутренней веб-разработки. Итак, давайте немного узнаем об этом языке и разберем его основы.
О языке
Что умеет Python?
Python можно использовать на сервере для создания веб-приложений.
Python можно использовать вместе с программным обеспечением для создания рабочих процессов.
Python может подключаться к системам баз данных. Он также может читать и изменять файлы.
Python можно использовать для обработки больших данных и выполнения сложной математики.
Python можно использовать для быстрого создания прототипов или для разработки программного обеспечения, готового к производству.
Почему Python?
Python работает на разных платформах (Windows, Mac, Linux, Raspberry Pi и т.д.).
Python имеет простой синтаксис, аналогичный английскому языку.
Синтаксис Python позволяет разработчикам писать программы с меньшим количеством строк, чем в некоторых других языках программирования.
Python работает в системе интерпретатора, что означает, что код может быть выполнен, как только он будет написан. Это означает, что прототипирование может быть очень быстрым.
Python можно рассматривать как процедурный, объектно-ориентированный или функциональный.
Python популярный и имеет хорошо развитую экосистему.
Хорошо знать
Самая последняя основная версия Python - это Python 3. Однако Python 2, хотя и не обновляется ничем, кроме обновлений безопасности, по-прежнему довольно популярен.
Можно написать Python в интегрированной среде разработки, такой как Thonny, Pycharm, Netbeans или Eclipse, которые особенно полезны при управлении большими коллекциями файлов Python.
Синтаксис Python по сравнению с другими языками программирования
Python был разработан для удобства чтения и имеет некоторое сходство с английским языком с влиянием математики.
Python использует новые строки для завершения команды, в отличие от других языков программирования, в которых часто используются точки с запятой или круглые скобки.
Python полагается на отступы с использованием пробелов для определения области видимости; например, объем циклов, функций и классов. В других языках программирования для этой цели часто используются фигурные скобки.
Подготовка
Установка Python
На многих ПК и Mac уже установлен Python.
Чтобы проверить, установлен ли у вас Python на ПК с Windows, выполните поиск Python на панели запуска или выполните в командной строке cmd.exe следующее:
C:UsersYour Name>python --version
Чтобы проверить, установлен ли у вас python на Linux или Mac, то на Linux откройте командную строку или на Mac откройте Терминал и введите:
python --version
Если вы обнаружите, что на вашем компьютере не установлен python, вы можете бесплатно загрузить его со следующего веб-сайта: https://www.python.org/
Быстрый старт
Python - это интерпретируемый язык программирования, это означает, что как разработчик вы пишете файлы Python .py в текстовом редакторе, а затем помещаете эти файлы в интерпретатор Python для выполнения.
Способ запуска файла Python в командной строке выглядит следующим образом:
C:UsersYour Name>python helloworld.py
Где helloworld.py - это имя вашего файла python.
Давайте напишем наш первый файл Python под названием helloworld.py, который можно сделать в любом текстовом редакторе.
print("Hello, World!")
Сохраните ваш файл. Откройте командную строку, перейдите в каталог, в котором вы сохранили файл, и запустите:
C:UsersYour Name>python helloworld.py
Результат должен быть таким:
Hello, World!
Поздравляем, вы написали и выполнили свою первую программу на Python.
Командная строка Python
Чтобы протестировать небольшой объем кода на Python, иногда проще и быстрее всего не записывать код в файл. Это стало возможным, потому что Python можно запускать из командной строки.
Введите в командной строке Windows, Mac или Linux следующее:
C:UsersYour Name>python
Или, если команда python не сработала, вы можете попробовать py:
C:UsersYour Name>py
Оттуда вы можете написать любой Python, включая наш пример hello world из ранее в руководстве:
C:UsersYour Name>python
Python 3.6.4 (v3.6.4:d48eceb, Dec 19 2017, 06:04:45) [MSC v.1900 32 bit (Intel)] on win32
Type "help", "copyright", "credits" or "license" for more information.
>>> print("Hello, World!")
Которая напишет "Hello, World!" в командной строке:
C:UsersYour Name>python
Python 3.6.4 (v3.6.4:d48eceb, Dec 19 2017, 06:04:45) [MSC v.1900 32 bit (Intel)] on win32
Type "help", "copyright", "credits" or "license" for more information.
>>> print("Hello, World!")
Hello, World!
Когда вы закончите в командной строке Python, вы можете просто ввести следующее, чтобы выйти из интерфейса командной строки Python:
exit()
Основы
1. Переменные
Вы можете думать о переменных как о словах, хранящих значение. Вот так просто.
В Python действительно легко определить переменную и присвоить ей значение. Представьте, что вы хотите сохранить номер 1 в переменной под названием one (единица). Давай сделаем это:
one = 1
Заметили насколько это было просто? Вы только что присвоили значение 1 переменной one.
two = 2
some_number = 10000
Python - динамически типизированный язык, и это не нужно указывать типы переменных, которые вы используете, и переменные не привязаны к конкретному типу.
И вы можете присвоить любое другое значение любым другим переменным, которые захотите. Как вы видите в таблице выше, переменная two хранит целое число 2, а some_number хранит 10 000.
Помимо целых чисел, мы также можем использовать булевые логические значения (True или False), строки, числа с плавающей запятой и многие другие типы данных.
# booleans (булевые значения)
true_boolean = True
false_boolean = False
# string (строка)
my_name = "Leandro Tk"
# float (числа с плавающей запятой)
book_price = 15.80
Комментарии начинаются с символа #, и Python их игнорирует:
2. Поток управления: условные операторы
if использует выражение для оценки того, является ли утверждение истинным или ложным. Если это True, он выполняет то, что находится внутри оператора if. Например:
if True:
print("Hello Python If")
if 2 > 1:
print("2 is greater than 1")
Обратите внимание, что на после строк с if у нас стоит отступ. Если в других языках программирования отступы в коде предназначены только для удобства чтения, отступы в Python очень важны. Python использует отступ для обозначения блока кода. Тут должен стоять хотя бы один пробел, иначе мы получим ошибку.
2 больше 1, поэтому выполняется код print. Оператор else будет выполнен, если выражение if ложно.
Функция print () выводит указанное сообщение на экран.
if 1 > 2:
print("1 is greater than 2")
else:
print("1 is not greater than 2")
В Python при сравнении используется двойное равно ==, а при присвоении - одно.
1 не больше 2, поэтому код внутри оператора else будет выполнен.
Вы также можете использовать оператор elif, который значит else if:
if 1 > 2:
print("1 is greater than 2")
elif 2 > 1:
print("1 is not greater than 2")
else:
print("1 is equal to 2")
3. Цикл / Итератор
В Python мы можем выполнять итерацию в разных формах. Мы расскажем о двух: while и for.
Цикл while: пока оператор имеет значение True, код внутри блока будет выполнен. Итак, этот код напечатает число от 1 до 10.
num = 1
while num some_value
Это пример того, как его использовать. Для каждого ключа в словаре мы печатаем ключ и соответствующее ему значение.
Другой способ сделать это - использовать метод items, который вернет нам ключ и значение. Используем его для словаря, что будет выглядеть как dictionary.items()
dictionary = { "some_key": "some_value" }
for key, value in dictionary.items():
print("%s --> %s" %(key, value))
# some_key --> some_value
Мы назвали эти два параметра key и value, но это не обязательно. Мы можем называть их как угодно. Давай посмотрим:
dictionary_tk = {
"name": "Leandro",
"nickname": "Tk",
"birthplace": "Brazil",
"age": 24
}
for attribute, value in dictionary_tk.items():
print("My %s is %s" %(attribute, value))
# My name is Leandro
# My nickname is Tk
# My birthplace is Brazil
# My age is 24
Мы видим, что мы использовали атрибут в качестве параметра для ключа словаря, и он работает правильно. Отлично!
Функции
Функция - это блок кода, который запускается только при его вызове. Вы можете передавать данные, называемые параметрами, в функцию. В результате функция может возвращать данные. Все как везде
В Python функция определяется с помощью ключевого слова def:
def my_function():
print("Hello from a function")
Чтобы вызвать функцию, используйте имя функции, за которым следует скобка:
def my_function():
print("Hello from a function")
my_function()
Информация может быть передана в функции как аргументы. Аргументы указываются после имени функции в круглых скобках. Вы можете добавить сколько угодно аргументов, просто разделив их запятыми. В следующем примере есть функция с одним аргументом fname. Когда функция вызывается, мы передаем имя, которое используется внутри функции для печати полного имени:
def my_function(fname):
print(fname + " Refsnes")
my_function("Emil")
my_function("Tobias")
my_function("Linus")
По умолчанию функция должна вызываться с правильным количеством аргументов. Это означает, что если ваша функция ожидает 2 аргумента, вы должны вызвать функцию с 2 аргументами, не больше и не меньше. Если вы попытаетесь вызвать функцию с 1 или 3 аргументами, то получите ошибку.
def my_function(fname, lname):
print(fname + " " + lname)
my_function("Emil", "Refsnes")
Если вы не знаете, сколько аргументов будет передано вашей функции, добавьте * перед именем параметра в определении функции.
def my_function(*kids):
print("The youngest child is " + kids[2])
my_function("Emil", "Tobias", "Linus")
Мы можем использовать значение параметра по умолчанию. Если мы вызываем функцию без аргументов, то она не сломается и будет использовать значение по умолчанию:
def my_function(country = "Norway"):
print("I am from " + country)
my_function("Sweden") #I am from Sweden
my_function() #I am from Norway
Вы можете отправить любой тип данных аргумента функции (строка, число, список, словарь), И он будет обрабатываться как тот же тип данных внутри функции.
Например если вы отправите список в качестве аргумента, он все равно будет списком, когда достигнет функции:
def my_function(food):
for x in food:
print(x)
fruits = ["apple", "banana", "cherry"]
my_function(fruits)
Ну и чтобы позволить функции вернуть значение, используйте оператор return:
def my_function(x):
return 5 * x
print(my_function(3)) #15
print(my_function(5)) #25
Пользовательский ввод Python
Python позволяет вводить данные пользователем. Это означает, что мы можем попросить пользователя ввести данные.
Этот метод немного отличается в Python 3.6 от Python 2.7. Python 3.6 использует метод input().
username = input("Enter username:")
print("Username is: " + username)
Python 2.7 использует метод raw_input().
username = raw_input("Enter username:")
print("Username is: " + username)
Python прекращает выполнение, когда доходит до функции input (), и продолжает выполнение, когда пользователь ввел некоторый ввод.
Обработка ошибок Python
Блок try позволяет вам проверить блок кода на наличие ошибок.
Блок except позволяет вам обрабатывать ошибку.
Блок finally позволяет выполнять код независимо от результата блоков try и except.
Обработка исключений
Когда возникает ошибка или исключение, как мы это называем, Python обычно останавливается и генерирует сообщение об ошибке.
Эти исключения можно обрабатывать с помощью оператора try:
try:
print(x)
except:
print("An exception occurred")
Блок try сгенерирует исключение, потому что x не определен.
Поскольку блок try вызывает ошибку, блок except будет выполнен. Без блока try программа выйдет из строя и выдаст ошибку.
Вы можете определить столько блоков исключений, сколько захотите, например если вы хотите выполнить специальный блок кода для особого типа ошибки.
try:
print(x)
except NameError:
print("Variable x is not defined")
except:
print("Something else went wrong")
Выведите одно сообщение, если блок try вызывает NameError, а другое - для других ошибок.
Вы можете использовать ключевое слово else, чтобы определить блок кода, который будет выполняться, если ошибок не возникло:
try:
print("Hello")
except:
print("Something went wrong")
else:
print("Nothing went wrong")
Блок finally, если он указан, будет выполнен независимо от того, вызывает ли блок try ошибку или нет.
try:
print(x)
except:
print("Something went wrong")
finally:
print("The 'try except' is finished")
Как разработчик Python сами вы можете создать исключение при возникновении условия.
Чтобы вызвать (или выкинуть) исключение, используйте ключевое слово raise.
x = -1
if x < 0:
raise Exception("Sorry, no numbers below zero")
Вы можете определить, какую ошибку выдавать, и текст, который будет выводить пользователь.
x = "hello"
if not type(x) is int:
raise TypeError("Only integers are allowed")
Классы и объекты
Немного теории:
Объекты представляют собой объекты реального мира, таких как автомобили, собаки или велосипеды. У объектов есть две основные характеристики: данные и поведение.
У автомобилей есть данные, такие как количество колес, количество дверей и вместимость. Они также демонстрируют поведение: они могут ускоряться, останавливаться, показывать, сколько топлива осталось, и многое другое.
Мы идентифицируем данные как атрибуты, а поведение как методы в объектно-ориентированном программировании.
А класс - это чертеж или план, из которого создаются отдельные объекты. В реальном мире мы часто находим много объектов одного типа. Как машины. Каждая машина была построена по одному и тому же набору чертежей и состоит из одинаковых компонентов (у всех есть двигатель, колеса, двери и т.д.).
Объектно-ориентированное программирование Python
Python как объектно-ориентированный язык программирования имеет следующие концепции: класс и объект.
Класс - это план или чертерж, модель для своих объектов.
Итак, опять же, класс - это просто модель или способ определения атрибутов и поведения. Например, класс транспортного средства имеет свои собственные атрибуты, определяющие, какие объекты являются транспортными средствами. Количество колес, тип бака, вместимость и максимальная скорость - все это атрибуты транспортного средства.
Имея это в виду, давайте посмотрим на синтаксис Python для классов:
class Vehicle:
pass
pass это оператор-заглушка, равноценный отсутствию операции. Тут мы используем его потому что еще не указали атрибуты.
Мы определяем классы с помощью оператора class - и все. Легко, правда?
Объекты - это экземпляры класса. Мы создаем экземпляр, называя класс.
car = Vehicle()
print(car) #
Здесь car - это объект (или экземпляр) класса Vehicle.
Помните, что у нашего класса транспортных средств есть четыре атрибута: количество колес, тип бака, вместимость и максимальная скорость. Мы устанавливаем все эти атрибуты при создании объекта транспортного средства. Итак, здесь мы определяем наш класс для получения данных, когда он их инициирует:
class Vehicle:
def __init__(self, number_of_wheels, type_of_tank, seating_capacity, maximum_velocity):
self.number_of_wheels = number_of_wheels
self.type_of_tank = type_of_tank
self.seating_capacity = seating_capacity
self.maximum_velocity = maximum_velocity
Метод __init__, который автоматически вызывается при создании объектов называется конструктором объектов класса
Переменная self представляет текущий объект класса.
Мы используем метод init. Мы называем это методом конструктора. Итак, когда мы создаем объект транспортного средства, мы можем определить эти атрибуты. Представьте, что мы любим Tesla Model S и хотим создать такой объект. У него четыре колеса, он работает на электроэнергии, вмещает пять сидений, а максимальная скорость составляет 250 км/час. Давайте создадим этот объект:
tesla_model_s = Vehicle(4, 'electric', 5, 250)
Четыре колеса + электробанк + пять сидений + максимальная скорость 250 км/час.
Все атрибуты установлены. Но как мы можем получить доступ к значениям этих атрибутов? Мы отправляем объекту сообщение с вопросом о них. Мы называем это методом. Это поведение объекта. Давайте применим это это:
class Vehicle:
def __init__(self, number_of_wheels, type_of_tank, seating_capacity, maximum_velocity):
self.number_of_wheels = number_of_wheels
self.type_of_tank = type_of_tank
self.seating_capacity = seating_capacity
self.maximum_velocity = maximum_velocity
def number_of_wheels(self):
return self.number_of_wheels
def set_number_of_wheels(self, number):
self.number_of_wheels = number
Это реализация двух методов: number_of_wheels и set_number_of_wheels. Мы называем это геттером (getter) и сеттером (setter). Потому что первый получает значение атрибута, а второй устанавливает новое значение атрибута.
В Python мы можем сделать это, используя @property (декораторы) для определения геттеров и сеттеров. Посмотрим на код:
class Vehicle:
def __init__(self, number_of_wheels, type_of_tank, seating_capacity, maximum_velocity):
self.number_of_wheels = number_of_wheels
self.type_of_tank = type_of_tank
self.seating_capacity = seating_capacity
self.maximum_velocity = maximum_velocity
@property
def number_of_wheels(self):
return self.__number_of_wheels
@number_of_wheels.setter
def number_of_wheels(self, number):
self.__number_of_wheels = number
И мы можем использовать эти методы как атрибуты, вызывав их через точку:
tesla_model_s = Vehicle(4, 'electric', 5, 250)
print(tesla_model_s.number_of_wheels) # 4
tesla_model_s.number_of_wheels = 2 # устанавливаем число колес равное 2
print(tesla_model_s.number_of_wheels) # 2
Это немного отличается от определения методов. Методы работают как атрибуты. Например, когда мы устанавливаем новое количество колес, мы не применяем два в качестве параметра, а устанавливаем значение 2 равным number_of_wheels. Это один из способов написания геттеров и сеттеров в Python.
Но мы также можем использовать методы для других вещей, например, метод make_noise. Давай увидим это:
class Vehicle:
def __init__(self, number_of_wheels, type_of_tank, seating_capacity, maximum_velocity):
self.number_of_wheels = number_of_wheels
self.type_of_tank = type_of_tank
self.seating_capacity = seating_capacity
self.maximum_velocity = maximum_velocity
def make_noise(self):
print('VRUUUUUUUM')
Когда мы вызываем этот метод, он просто возвращает строку «VRRRRUUUUM».
tesla_model_s = Vehicle(4, 'electric', 5, 250)
tesla_model_s.make_noise() # VRUUUUUUUM
Инкапсуляция: скрытие информации
Инкапсуляция - это механизм, ограничивающий прямой доступ к данным и методам объектов. Но в то же время это облегчает работу с этими данными (методами объектов).
Все внутреннее представление объекта скрыто снаружи. Только объект может взаимодействовать со своими внутренними данными.
Во-первых, нам нужно понять, как работают общедоступные и непубличные переменные и методы экземпляра - pubulic и non-public.
Переменные общедоступного экземпляра
Для класса Python мы можем инициализировать общедоступную переменную экземпляра в нашем методе конструктора.
class Person:
def __init__(self, first_name):
self.first_name = first_name
Здесь мы применяем значение first_name в качестве аргумента к общедоступной переменной экземпляра (public instance variable).
tk = Person('TK')
print(tk.first_name) # => TK
Внутри класса:
class Person:
first_name = 'TK'
Здесь нам не нужно применять first_name в качестве аргумента, и все объекты экземпляра будут иметь атрибут класса, инициализированный с помощью TK.
tk = Person()
print(tk.first_name) # => TK
Теперь мы узнали, что можем использовать общедоступные переменные экземпляра и атрибуты класса. Еще одна интересная особенность публичной части - это то, что мы можем управлять значением переменной. Что то значит? Наш объект может управлять своим значением переменной: получать и устанавливать значения переменных.
Помня о классе Person, мы хотим установить другое значение для его переменной first_name:
tk = Person('TK')
tk.first_name = 'Kaio'
print(tk.first_name) # => Kaio
Мы просто устанавливаем другое значение kaio для переменной экземпляра first_name, и она обновляет значение. Вот так просто. Поскольку это общедоступная переменная, мы можем это сделать.
Непубличная переменная экземпляра
В качестве общедоступной переменной экземпляра мы можем определить непубличную (non-public) переменную экземпляра как внутри метода конструктора, так и внутри класса. Разница в синтаксисе: для закрытых переменных экземпляра используйте символ подчеркивания _ перед именем переменной.
«Частные» переменные экземпляра, к которым нельзя получить доступ, кроме как изнутри объекта, в Python не существует. Однако существует соглашение, которому следует большая часть кода Python: имя с префиксом подчеркивания (например, _spam) должно рассматриваться как закрытая часть API (будь то функция, метод или член данных).
Вот пример:
class Person:
def __init__(self, first_name, email):
self.first_name = first_name
self._email = email
Вы видели переменную _email? Вот как мы определяем непубличную переменную:
tk = Person('TK', 'tk@mail.com')
print(tk._email) # tk@mail.com
Мы можем получить к ней доступ и обновить. Непубличные переменные - это просто соглашение, и их следует рассматривать как непубличную часть API.
API - это программный интерфейс приложения. Это интерфейс взаимодействия с программой.
Итак, мы используем метод, который позволяет нам делать это внутри определения нашего класса. Давайте реализуем два метода (emali и update_email), чтобы понять это:
class Person:
def __init__(self, first_name, email):
self.first_name = first_name
self._email = email
def update_email(self, new_email):
self._email = new_email
def email(self):
return self._email
Теперь мы можем обновлять непубличные переменные и обращаться к ним с помощью этих методов. Давайте посмотрим:
tk = Person('TK', 'tk@mail.com')
print(tk.email()) # => tk@mail.com
# tk._email = 'new_tk@mail.com' -- рассматривать как непубличную часть API класса
print(tk.email()) # => tk@mail.com
tk.update_email('new_tk@mail.com')
print(tk.email()) # => new_tk@mail.com
Мы инициировали новый объект с именем TK и адресом электронной почты tk@mail.com
Распечатали email, обратившись к закрытой переменной с помощью метода
Пытались установить новый адрес электронной почты вне нашего класса
Нам нужно рассматривать непубличную переменную как непубличную часть API.
Обновлена непубличная переменная с помощью нашего метода экземпляра
Успех! Мы можем обновить ее внутри нашего класса с помощью вспомогательного метода
Публичный метод
С общедоступными методами мы также можем использовать их вне нашего класса:
class Person:
def __init__(self, first_name, age):
self.first_name = first_name
self._age = age
def show_age(self):
return self._age
Давайте проверим это:
tk = Person('TK', 25)
print(tk.show_age()) # => 25
Отлично - мы можем использовать его без проблем.
Непубличный метод
Но с помощью закрытых методов мы не можем этого сделать. Давайте реализуем тот же класс Person, но теперь с закрытым методом show_age с подчеркиванием _.
class Person:
def __init__(self, first_name, age):
self.first_name = first_name
self._age = age
def _show_age(self):
return self._age
А теперь мы попробуем вызвать этот непубличный метод с нашим объектом:
tk = Person('TK', 25)
print(tk._show_age()) # => 25
Тут все так же. Мы можем получить к нему доступ и обновить. Непубличные методы - это просто соглашение, и их следует рассматривать как непубличную часть API.
Вот пример того, как мы можем это использовать:
class Person:
def __init__(self, first_name, age):
self.first_name = first_name
self._age = age
def show_age(self):
return self._get_age()
def _get_age(self):
return self._age
tk = Person('TK', 25)
print(tk.show_age()) # => 25
Здесь у нас есть закрытый метод _get_age и открытый метод show_age. show_age может использоваться нашим объектом (вне нашего класса), а _get_age может использоваться только внутри нашего определения класса (внутри метода show_age). Но опять же: условно.
Сводка по инкапсуляции
С помощью инкапсуляции мы можем гарантировать, что внутреннее представление объекта скрыто снаружи.
Наследование: поведение и характеристики
У некоторых объектов есть общие черты: их поведение и характеристики.
В объектно-ориентированном программировании классы могут наследовать общие характеристики (данные) и поведение (методы) от другого класса.
Давайте посмотрим на другой пример и реализуем его на Python.
Представьте себе машину. Количество колес, пассажировместимость и максимальная скорость - все это атрибуты автомобиля. Можно сказать, что класс ElectricCar наследует те же атрибуты от обычного класса Car.
class Car:
def __init__(self, number_of_wheels, seating_capacity, maximum_velocity):
self.number_of_wheels = number_of_wheels
self.seating_capacity = seating_capacity
self.maximum_velocity = maximum_velocity
В нашем классе Car реализованы:
my_car = Car(4, 5, 250)
print(my_car.number_of_wheels)
print(my_car.seating_capacity)
print(my_car.maximum_velocity)
После запуска мы можем использовать все созданные переменные экземпляра. Отлично.
В Python мы применяем родительский (parent) класс к дочернему (child) классу в качестве параметра. Класс ElectricCar может быть унаследован от нашего класса Car.
class ElectricCar(Car):
def __init__(self, number_of_wheels, seating_capacity, maximum_velocity):
Car.__init__(self, number_of_wheels, seating_capacity, maximum_velocity)
Вот так просто. Нам не нужно реализовывать какой-либо другой метод, потому что он уже есть в этом классе (унаследованный от класса Car). Докажем это:
my_electric_car = ElectricCar(4, 5, 250)
print(my_electric_car.number_of_wheels) # => 4
print(my_electric_car.seating_capacity) # => 5
print(my_electric_car.maximum_velocity) # => 250
Модули в Python
Что такое модуль? Считайте, что модуль - это то же самое, что и библиотека кода. Файл, содержащий набор функций, которые вы хотите включить в свое приложение.
Чтобы создать модуль, просто сохраните нужный код в файле с расширением .py:
Сохраните этот код в файле с именем mymodule.py
def greeting(name):
print("Hello, " + name)
Теперь мы можем использовать только что созданный модуль, используя оператор import:
import mymodule
mymodule.greeting("Jonathan") #Hello, Jonathan
Вы можете создать псевдоним при импорте модуля, используя ключевое слово as:
import mymodule as mx
Встроенные модули
В Python есть несколько встроенных модулей, которые вы можете импортировать в любое время.
import platform
x = platform.system()
print(x)
Существует встроенная функция для отображения всех имен функций (или имен переменных) в модуле. Это функция dir():
import platform
x = dir(platform)
print(x)
Получим такой вывод:
['DEV_NULL', '_UNIXCONFDIR', 'WIN32_CLIENT_RELEASES', 'WIN32_SERVER_RELEASES', '__builtins__', '__cached__', '__copyright__', '__doc__', '__file__', '__loader__', '__name__', '__package __', '__spec__', '__version__', '_default_architecture', '_dist_try_harder', '_follow_symlinks', '_ironpython26_sys_version_parser', '_ironpython_sys_version_parser', '_java_getprop', '_libc_search', '_linux_distribution', '_lsb_release_version', '_mac_ver_xml', '_node', '_norm_version', '_perse_release_file', '_platform', '_platform_cache', '_pypy_sys_version_parser', '_release_filename', '_release_version', '_supported_dists', '_sys_version', '_sys_version_cache', '_sys_version_parser', '_syscmd_file', '_syscmd_uname', '_syscmd_ver', '_uname_cache', '_ver_output', 'architecture', 'collections', 'dist', 'java_ver', 'libc_ver', 'linux_distribution', 'mac_ver', 'machine', 'node', 'os', 'platform', 'popen', 'processor', 'python_branch', 'python_build', 'python_compiler', 'python_implementation', 'python_revision', 'python_version', 'python_version_tuple', 're', 'release', 'subprocess', 'sys', 'system', 'system_aliases', 'uname', 'uname_result', 'version', 'warnings', 'win32_ver']
Работа с файлами в Python
Работа с файлами - важная часть любого приложения. Python имеет несколько функций для создания, чтения, обновления и удаления файлов.
Обработка файлов
Ключевой функцией для работы с файлами в Python является функция open().
Функция open() принимает два параметра - имя файла и режим.
Существует четыре различных метода (режима) открытия файла:
r - Чтение - значение по умолчанию. Открывает файл для чтения, возвращает ошибку, если файл не существует
a - Добавить - открывает файл для добавления, создает файл, если он не существует.
w - Запись - открывает файл для записи, создает файл, если он не существует.
x - Создать - создает указанный файл, возвращает ошибку, если файл существует.
Кроме того, вы можете указать, следует ли обрабатывать файл в двоичном или текстовом режиме.
t - Текст - значение по умолчанию. Текстовый режим
b - Двоичный - Двоичный режим (например, изображения)
Чтобы открыть файл для чтения, достаточно указать имя файла:
f = open("demofile.txt")
Код выше по сути такой же, как:
f = open("demofile.txt", "rt")
Поскольку r для чтения и t для текста являются значениями по умолчанию, вам не нужно их указывать.
Открыть файл на сервере
Предположим, у нас есть следующий файл, расположенный в той же папке, что и Python:
Чтобы открыть файл, используйте встроенную функцию open(). Функция open() возвращает файловый объект, у которого есть метод read() для чтения содержимого файла:
f = open("demofile.txt", "r")
print(f.read())
Если файл находится в другом месте, вам нужно будет указать путь к файлу, например:
f = open("D:\myfileswelcome.txt", "r")
print(f.read())
Вы можете вывести одну строку, используя метод readline():
f = open("demofile.txt", "r")
print(f.readline())
Рекомендуется всегда закрывать файл по окончании работы с ним. В некоторых случаях из-за буферизации изменения, внесенные в файл, могут не отображаться, пока вы не закроете файл.
f = open("demofile.txt", "r")
print(f.readline())
f.close()
Запись в существующий файл
Для записи в существующий файл необходимо добавить параметр к функции open():
a - Добавить - добавит в конец файла
w - Запись - перезапишет весь существующий контент
Откройте файл "demofile2.txt" и добавьте содержимое в файл:
f = open("demofile2.txt", "a")
f.write("Now the file has more content!")
f.close()
#откройте и прочитайте файл после добавления нового содержимого:
f = open("demofile2.txt", "r")
print(f.read())
Откройте файл "demofile3.txt" и перезапишите его содержимое:
f = open("demofile3.txt", "w")
f.write("Woops! I have deleted the content!")
f.close()
Создать новый файл
Чтобы создать новый файл в Python, используйте метод open() с одним из следующих параметров:
x - Создать - создаст файл, вернет ошибку, если файл существует
a - Добавить - создаст файл, если указанный файл не существует
w - Запись - создаст файл, если указанный файл не существует
Создайте файл с именем myfile.txt:
f = open ("myfile.txt", "x")
Результат: создан новый пустой файл!
Удалить файл
Чтобы удалить файл, вы должны импортировать модуль os и запустить его функцию os.remove():
import os
os.remove("demofile.txt")
Чтобы избежать появления ошибки, вы можете проверить, существует ли файл, прежде чем пытаться удалить его:
import os
if os.path.exists("demofile.txt"):
os.remove("demofile.txt")
else:
print("The file does not exist")
Удалить папку
Чтобы удалить всю папку, используйте метод os.rmdir():
import os
os.rmdir("myfolder")
Удалить можно только пустые папки.
Python PIP
Что такое PIP? PIP - это менеджер пакетов для пакетов Python или модулей, если хотите.
Примечание. Если у вас Python версии 3.4 или новее, PIP включен по умолчанию.
Что такое пакет? Пакет содержит все файлы, необходимые для модуля. Модули - это библиотеки кода Python, которые вы можете включить в свой проект.
Проверьте, установлен ли PIP
Перейдите в командной строке к каталогу скриптов Python и введите следующее:
C:UsersYour NameAppDataLocalProgramsPythonPython36-32Scripts>pip --version
Установить PIP
Если у вас не установлен PIP, вы можете загрузить и установить его с этой страницы: https://pypi.org/project/pip/
Скачать пакет
Загрузить пакет очень просто. Откройте интерфейс командной строки и скажите PIP загрузить нужный пакет. Перейдите в командной строке к каталогу сценариев Python и введите следующее:
C:UsersYour NameAppDataLocalProgramsPythonPython36-32Scripts>pip install camelcase
Мы скачали пакет camelcase
Использование пакета
После установки пакет готов к использованию. Импортируйте пакет camelcase в свой проект при помощи ключевого слова import.
import camelcase
c = camelcase.CamelCase()
txt = "hello world"
print(c.hump(txt))
Дополнительные пакеты можно найти на https://pypi.org/.
Удалить пакет
Используйте команду uninstall, чтобы удалить пакет:
C:UsersYour NameAppDataLocalProgramsPythonPython36-32Scripts>pip uninstall camelcase
Диспетчер пакетов PIP попросит вас подтвердить, что вы хотите удалить пакет:
Uninstalling camelcase-02.1:
Would remove:
c:usersYour Nameappdatalocalprogramspythonpython36-32libsite-packagescamecase-0.2-py3.6.egg-info
c:usersYour Nameappdatalocalprogramspythonpython36-32libsite-packagescamecase*
Proceed (y/n)?
Нажмите y, и пакет будет удален.
Список пакетов
Используйте команду list, чтобы вывести список всех пакетов, установленных в вашей системе:
C:UsersYour NameAppDataLocalProgramsPythonPython36-32Scripts>pip list
Package Version
-----------------------
camelcase 0.2
mysql-connector 2.1.6
pip 18.1
pymongo 3.6.1
setuptools 39.0.1
Вот и все!
Мы узнали много нового об основах Python:
Как установить Python и запустить свою первую программу
Как работают переменные Python
Как работают условные операторы Python
Как работает цикл Python (while и for)
Как работают функции Python
Как работают исключения Python
Как вводить данные в Python
Как работать с файлами в Python
Как работать с модулями в Python
Как пользоваться PIP
Как использовать списки: Коллекция и Массив
Коллекция ключей и значений словаря Dictionary
Как мы можем перебирать эти структуры данных
Объекты и классы
Атрибуты как данные объектов
Методы как поведение объектов
Использование геттеров и сеттеров Python и декоратора свойств
Инкапсуляция: скрытие информации
Наследование: поведение и характеристики
Также вам может быть интересно наше Руководство по изучению PHP с нуля с примерами
Linux поддерживает множество файловых систем, таких как ext4, ZFS, XFS, Btrfs, Reiser4 и другие.
Различные типы файловых систем решают разные проблемы, и их использование зависит от приложения.
Что такое файловая система Linux
Почти каждый бит данных и программ, необходимых для загрузки системы Linux и поддержания ее работы, сохраняется в файловой системе. Например, сама операционная система, компиляторы, прикладные программы, разделяемые библиотеки, файлы конфигурации, файлы журналов, точки монтирования мультимедиа и т.д.
Файловые системы работают в фоновом режиме. Как и остальная часть ядра операционной системы, они практически невидимы при повседневном использовании.
Файловая система Linux обычно представляет собой встроенный уровень операционной системы Linux, используемый для управления данными хранилища. Он контролирует, как данные хранятся и извлекаются. Он управляет именем файла, размером файла, датой создания и другой информацией о файле.
Файловая система ext4
В 1992 году была запущена файловая Extended File System или ext специально для операционной системы Linux. Она уходит своими корнями в операционную систему Minix. В 1993 году было выпущено обновление под названием Extended File System 2 или ext2, которое в течение многих лет было файловой системой по умолчанию во многих дистрибутивах Linux. К 2001 году ext2 была обновлена до ext3, которая ввела журналирование для защиты от повреждений в случае сбоев или сбоев питания.
Ext4 была представлена в 2008 году и является файловой системой Linux по умолчанию с 2010 года. Она была разработана как прогрессивная версия файловой системы ext3 и преодолевает ряд ограничений в ext3. Она имеет значительные преимущества перед своим предшественником, такие как улучшенный дизайн, лучшая производительность, надежность и новые функции.
В настоящее время ext4 является файловой системой по умолчанию в большинстве дистрибутивов Linux. Она может поддерживать файлы и файловые системы размером до 16 терабайт. Она также поддерживает неограниченное количество подкаталогов (файловая система ext3 поддерживает только до 32 000). Кроме того, ext4 обратно совместима с ext3 и ext2, что позволяет монтировать эти старые версии с драйвером ext4.
Есть причина, по которой ext4 является выбором по умолчанию для большинства дистрибутивов Linux. Она опробована, протестирована, стабильна, отлично работает и широко поддерживается. Если вам нужна стабильность, ext4 - лучшая файловая система Linux для вас.
Однако несмотря на все свои функции, ext4 не поддерживает прозрачное сжатие, прозрачное шифрование или дедупликацию данных.
Файловая система XFS
XFS - это высокомасштабируемая файловая система, разработанная Silicon Graphics и впервые развернутая в операционной системе IRIX на базе Unix в 1994 году. Это файловая система с журналированием которая отслеживает изменения в журнале перед фиксацией изменений в основной файловой системе. Преимущество заключается в гарантированной целостности файловой системы и ускоренном восстановлении в случае сбоев питания или сбоев системы.
Первоначально XFS была создана для поддержки чрезвычайно больших файловых систем с размерами до 16 эксабайт и размером файлов до 8 эксабайт. Она имеет долгую историю работы на больших серверах и массивах хранения.
Одной из примечательных особенностей XFS является гарантированная скорость ввода-вывода. Это позволяет приложениям зарезервировать пропускную способность. Файловая система рассчитывает доступную производительность и корректирует свою работу в соответствии с существующими резервированиями.
XFS имеет репутацию системы, работающей в средах, требующих высокой производительности и масштабируемости, и поэтому регулярно оценивается как одна из самых производительных файловых систем в больших системах с корпоративными рабочими нагрузками.
Сегодня XFS поддерживается большинством дистрибутивов Linux и теперь стала файловой системой по умолчанию в Red Hat Enterprise Linux, Oracle Linux, CentOS и многих других дистрибутивах.
Лучшие варианты использования файловой системы XFS
У вас большой сервер? У вас большие требования к хранилищу или у вас есть локальный медленный диск SATA?
Если и ваш сервер, и ваше устройство хранения большие и нет необходимости уменьшать размер файловой системы, XFS, вероятно, будет лучшим выбором. XFS - отличная файловая система, которая хорошо масштабируется для больших серверов. Но даже с меньшими массивами хранения XFS работает очень хорошо, когда средние размеры файлов велики, например, размером в сотни мегабайт.
Файловая система btrfs
Btrfs - это файловая система Linux общего назначения нового поколения, которая предлагает уникальные функции, такие как расширенное интегрированное управление устройствами, масштабируемость и надежность. Он распространяется под лицензией GPL и открыт для внесения вклада кем угодно. Для файловой системы используются разные имена, в том числе «Butter FS», «B-tree FS» и «Better FS».
Разработка Btrfs началась в Oracle в 2007 году. Она была объединена с основным ядром Linux в начале 2009 года и дебютировала в версии Linux 2.6.29.
Btrfs не является преемником файловой системы ext4 по умолчанию, используемой в большинстве дистрибутивов Linux, но предлагает лучшую масштабируемость и надежность. Btrfs - это файловая система с копированием при записи (Copy-on-Write - CoW), предназначенная для устранения различных недостатков в текущих файловых системах Linux. Основное внимание уделяется отказоустойчивости, самовосстановлению и простоте администрирования.
Btrfs может поддерживать до 16 эксбибайт раздела и файл того же размера. Если вас смущают цифры, все, что вам нужно знать, это то, что Btrfs может поддерживать до шестнадцати раз больше данных Ext4.
Как работает Copy-on-Write и зачем вам это нужно
В традиционной файловой системе при изменении файла данные считываются, изменяются, а затем записываются обратно в то же место. В файловой системе с копией при записи он считывает данные, изменяет их и записывает в новое место. Это предотвращает потерю данных во время транзакции чтения-изменения-записи, поскольку данные всегда находятся на диске.
Поскольку вы не «перенаправляете» до тех пор, пока новый блок не будет полностью записан, если пропадет питание или выйдет из строя в середине записи, вы получите либо старый блок, либо новый блок, но не наполовину записанный поврежденный блокировать. Таким образом, вам не нужно проверять файловые системы при запуске, и вы снижаете риск повреждения данных.
Вы можете сделать снимок файловой системы в любой момент, создав запись снимка в метаданных с текущим набором указателей. Это защищает старые блоки от последующего сбора мусора и позволяет файловой системе представить том в том виде, в котором он был во время моментального снимка. Другими словами, у вас есть возможность мгновенного отката. Вы даже можете клонировать этот том, чтобы сделать его доступным для записи на основе снимка.
Особенности Btrfs
Copy-on-Write и создание снепшотов - Сделайте инкрементное резервное копирование безболезненным даже из файловой системы в процессе работы или виртуальной машины (VM).
Контрольные суммы на уровне файла - метаданные для каждого файла включают контрольную сумму, которая используется для обнаружения и исправления ошибок.
Сжатие - файлы можно сжимать и распаковывать "на лету", что увеличивает скорость чтения.
Автоматическая дефрагментация - файловые системы настраиваются фоновым потоком, пока они используются.
Подтомы - файловые системы могут совместно использовать единый пул пространства вместо того, чтобы помещаться в свои собственные разделы.
RAID - Btrfs выполняет свои собственные реализации RAID, поэтому LVM или mdadm не требуются для наличия RAID. В настоящее время поддерживаются RAID 0, 1 и 10. RAID 5 и 6 считаются нестабильными.
Разделы необязательны - хотя Btrfs может работать с разделами, он может напрямую использовать необработанные устройства (/dev/<device>).
Дедупликация данных - поддержка дедупликации данных ограничена; однако дедупликация со временем станет стандартной функцией Btrfs. Это позволяет Btrfs экономить место, сравнивая файлы через двоичные файлы diff.
Хотя это правда, что Btrfs все еще считается экспериментальным и в настоящее время находится в активной разработке, время, когда Btrfs станет файловой системой по умолчанию для систем Linux, приближается. Некоторые дистрибутивы Linux уже начали переходить на него в своих текущих выпусках.
Файловая система ZFS
ZFS (Zettabyte File System) остается одной из наиболее технически продвинутых и полнофункциональных файловых систем с момента ее появления в октябре 2005 года. Это локальная файловая система (например, ext4) и менеджер логических томов (например, LVM), созданные Sun Microsystems. ZFS публиковалась под лицензией с открытым исходным кодом, пока Oracle не купила Sun Microsystems и не закрыла лицензию.
Вы можете думать о ZFS как о диспетчере томов и как о RAID-массиве одновременно, что позволяет добавлять дополнительные диски к вашему тому ZFS, что позволяет одновременно добавить дополнительное пространство в вашу файловую систему. В дополнение к этому ZFS обладает некоторыми другими функциями, которых нет в традиционных RAID.
ZFS сильно зависит от памяти, поэтому для запуска вам потребуется не менее 8 ГБ. На практике используйте столько, сколько можете получить в соответствии с вашим аппаратным обеспечением или бюджетом.
ZFS обычно используется сборщиками данных, пользователями NAS и другими гиками, которые предпочитают полагаться на собственную избыточную систему хранения, а не на облако. Это отличная файловая система для управления несколькими дисками с данными, которая может соперничать с некоторыми из лучших конфигураций RAID.
ZFS похожа на другие подходы к управлению хранилищем, но в некотором смысле радикально отличается. ZFS обычно не использует Linux Logical Volume Manager (LVM) или разделы диска, и обычно удобно удалять разделы и структуры LVM перед подготовкой носителя для zpool.
Zpool - это аналог LVM. Zpool охватывает одно или несколько устройств хранения, а члены zpool могут быть нескольких различных типов. Основные элементы хранения - одиночные устройства, зеркала и raidz. Все эти элементы хранения называются vdevs.
ZFS может обеспечить целостность хранилища намного лучше, чем любой RAID-контроллер, поскольку он досконально знает структуру файловой системы. Безопасность данных - важная особенность конструкции ZFS. Все блоки, записанные в zpool, тщательно проверяются контрольной суммой для обеспечения согласованности и правильности данных.
Для использования на сервере, где вы хотите почти полностью исключить любую возможность потери данных и стабильности, вы можете изучить ZFS.
Возможности ZFS
Бесконечная масштабируемость. Что ж, технически она не бесконечна, но это 128-битная файловая система, способная управлять зеттабайтами (одним миллиардом терабайт) данных. Поэтому независимо от того, сколько у вас места на жестком диске, ZFS подойдет для управления им.
Максимальная целостность. Все, что вы делаете внутри ZFS, использует контрольную сумму для обеспечения целостности файла. Вы можете быть уверены, что ваши файлы и их резервные копии не испытают скрытого повреждения данных. Кроме того, пока ZFS незаметно проверяет целостность ваших данных, она будет выполнять автоматическое восстановление в любое время.
Объединение дисков. Создатели ZFS хотят, чтобы вы думали об этом как о том, как ваш компьютер использует оперативную память. Когда вам нужно больше памяти на вашем компьютере, вы вставляете другую карту, и все готово. Точно так же с ZFS, когда вам нужно больше места на жестком диске, вы вставляете другой жесткий диск, и все готово. Не нужно тратить время на разбиение на разделы, форматирование, инициализацию или что-то еще с вашими дисками. Если вам нужен «пул» хранилища большего размера, просто добавьте диски.
RAID. ZFS поддерживает множество различных уровней RAID, обеспечивая при этом производительность, сравнимую с производительностью аппаратных RAID-контроллеров. Это позволяет сэкономить деньги, упростить настройку и получить доступ к превосходным уровням RAID, которые были улучшены в ZFS.
Файловая система Reiser4
ReiserFS - это файловая система общего назначения с журналированием, первоначально разработанная и реализованная командой Namesys во главе с Хансом Райзером. Представленная в версии 2.4.1 ядра Linux, это была первая файловая система с журналированием, включенная в стандартное ядро.
За исключением обновлений безопасности и исправлений критических ошибок, Namesys прекратила разработку ReiserFS. Reiser4 является преемницей файловой системы ReiserFS. Добавилось шифрование, улучшил производительность и многое другое.
Reiser4 обеспечивает наиболее эффективное использование дискового пространства среди всех файловых систем во всех сценариях и рабочих нагрузках. ReiserFS предлагает преимущества перед другими файловыми системами, особенно когда дело доходит до обработки большого количества небольших файлов. Она поддерживает ведение журнала для быстрого восстановления в случае возникновения проблем. Структура файловой системы основана на деревьях. Кроме того, Reiser4 потребляет немного больше ресурсов ЦП, чем другие файловые системы.
Reiser4 обладает уникальной способностью оптимизировать дисковое пространство, занимаемое небольшими файлами (менее одного блока). Они полностью хранятся в своем индексном дескрипторе, без выделения блоков в области данных.
Помимо реализации традиционных функций файловой системы Linux, reiser4 предоставляет пользователям ряд дополнительных возможностей: прозрачное сжатие и шифрование файлов, полное ведение журнала данных, а также практически неограниченную (с помощью архитектуры подключаемых модулей) расширяемость.
Однако в настоящее время нет поддержки прямого ввода-вывода (началась работа по реализации), квот и POSIX ACL.