img

Windows Server. Дедупликация: от установки до использования

За последние несколько лет, объем устройств хранения увеличился в несколько раз, и параллельно с ним увеличивается объем используемых данных. Появляются мощные инструменты, позволяющие наиболее эффективно использовать выделенное пространство. Одна из технологий, доступных в Windows Server - это дедупликация. Microsoft продолжает добавлять новые возможности к функции дедупликации с каждым новым выпуском Windows.

Рассмотрим само понятие дедупликации, инсталляцию компонентов и работу в Windows Server. Включение дедупликации на томе, использование Планировщика заданий, а также использование PowerShell для проверки статуса работы и управления.


Что такое дедупликация данных в Windows Server?

Файловый сервер предприятия – хороший пример, с помощью которого можно визуализировать, на сколько могут быть огромны объемы пользовательских данных. На файловом ресурсе можно найти множество копий одних и тех же файлов или близко схожих по внутренней структуре, т.е. в нескольких файлах будут дублироваться блоки данных. Одни и те же отчеты, письма, служебные документы пересылаются и сохраняются пользователями разных подразделений на одном и том же файловом сервере. А это, в свою очередь, приводит к появлению избыточных копий, которые влияют на эффективность хранения данных и последующего резервирования.

В традиционных средах хранения так и происходит. Дедупликация предоставляет средства для однократного сохранения данных и создания ссылок на фактическое расположение данных. Таким образом, среда хранения перестает хранить дублирующуюся информацию. Компания Microsoft также продолжает совершенствовать функции дедупликации. В Windows Server 2019 появилась возможность выполнять дедупликацию томов NTFS и ReFS. До Windows Server 2019 дедупликация ReFS была невозможна.


Как работает дедупликация данных Windows Server?

Для реализации дедупликации данных в Windows Server использует два принципа

  1. Процесс дедупликации с данными выполняется не моментально. Это означает, что процесс дедупликации не будет влиять на производительность в процессе записи файла. Когда данные записываются в хранилище, они не оптимизируются. После этого запускается процесс оптимизации дедупликации, чтобы гарантировать дедупликацию данных.
  2. Конечные пользователи не знают о процессе дедупликации - дедупликация в Windows Server полностью прозрачна. Пользователи не подозревают, что они могут работать с дедуплицированными данными.

Для успешной дедупликации данных в соответствии с принципами, перечисленными выше, Windows Server использует следующие шаги:

  1. Файловая система сканирует хранилище, чтобы найти файлы, соответствующие политике оптимизации дедупликации.
  2. Файлы дробятся на фрагменты.
  3. Идентифицируются уникальные фрагменты данных
  4. Фрагменты помещаются в хранилище фрагментов.
  5. Создаются ссылки на хранилище фрагментов, чтобы было перенаправление при чтении этих файлов на соответствующие фрагменты.

Использование дедупликации

Ниже описана примерная экономия места при использовании дедупликации.

  • 80–95% для сред виртуализации VDI, ISO файлы.
  • 70–80% для файлов программного обеспечения, файлов CAB и других файлов.
  • 50–60% для общих файловых ресурсов, которые могут содержать огромное количество дублированных данных.
  • 30–50% для стандартных пользовательских файлов, которые могут включать фотографии, музыку и видео.

Установка компонентов дедупликации в Windows Server

Процесс установки Data Deduplication прост. Дедупликация данных является частью роли файловых служб и служб хранения. Можно установить используя графический интерфейс Server Manager, используя Windows Admin Center или командлет PowerShell.

Установка роли Дедупликации данных в Windows Server 2019

Включить Дедупликацию из PowerShell можно следующим командлетом:

Install-WindowsFeature -Name FS-Data-Deduplication
Install-WindowsFeature -Name FS-Data-Deduplication Install-WindowsFeature -Name FS-Data-Deduplication

Третий способ установить Дедупликацию данных – через Windows Admin Center перейдя в меню Roles & Features и установить галку напротив Data Deduplication. Затем нажать Install. Windows Admin Center предварительно должен быть установлен!

Использование Windows Admin Center для установки Дедупликации данных в Windows Server 2019

Включение дедупликации данных на томе

После того, как была установлена Дедупликация данных, процесс включения на томе будет простым. Используя Server Manager (Диспетчер серверов) перейдите к File and Storage Services (Файловым службам и службам хранения) -> Volumes (Тома) -> Disks (Диски). Выберите нужный диск. Затем выберите том, который находится на диске, на котором нужно запустить процесс дедупликации.

Включение дедупликации данных для тома в Windows Server 2019

Выберем Configure Data Deduplication

На этом этапе можно выбрать тип данных для дедупликации: файловый сервер, VDI или Backup Server, в Параметрах установить возраст файлов для дедупликации, возможность добавить файлы или папки для исключения.

Настройка параметров дедупликации в Windows Server 2019

Здесь же настраивается расписание

Настройка параметров расписания дедупликации в Windows Server 2019

В конфигурации расписания можно добавить дополнительное задание на то время, когда сервер используется минимально, чтобы максимально использовать возможности дедупликации.


Выполнение запланированных задач дедупликации данных

После создания расписания, в Task Scheduler (Планировщик заданий) создается новая задача, работающая в фоновом режиме. По умолчанию процесс дедупликации стартует каждый час. Запустив Task Scheduler и перейдя по пути MicrosoftWindowsDeduplication можно запустить задачу BackgroundOptimization вручную.

Запланированные задачи дедупликации Windows в Windows Server 2019

Использование PowerShell для проверки работы и управления дедупликацией

В PowerShell имеются командлеты для мониторинга и управления дедупликацией

Get-DedupSchedule – покажет расписание заданий

Get-DedupSchedule

Можно создать отдельное дополнительное задание по оптимизации дедупликации на томе E: с максимальным использованием ОЗУ 20%

Start-DedupJob -Volume "E:" -Type Optimization -Memory 20
Start-DedupJob

Get-DedupStatus – отобразит состояние операций дедупликации и процент дедупликации

Get-DedupStatus

На данном этапе нет экономии места после включения дедупликации данных. В настройках расписания указано дедуплицировать файлы старше 2-х дней.

После запуска процесса мы начинаем видеть экономию места на томе.

Get-DedupStatus

Get-DedupMetadata - просмотр метаданных по дедупликации

Get-DedupMetadata

Server Manager также отобразит измененную информацию.

Статус дедупликации данных на томе

Если нужно отключить использование дедупликации, нужно использовать два командлета:

Disable-DedupVolume -Volume <буква тома>

Start-DedupJob -type Unoptimization -Volume <буква тома>

Необходимо учесть, что обратный процесс уменьшит свободное пространство на томе и у вас должно быть достаточно для этого места.


Вывод

Дедупликация данных в Windows Server - отличный способ эффективно использовать место на устройствах хранения данных. С каждым выпуском Windows Server возможности дедупликации продолжают улучшаться. Дедупликация обеспечивает огромную экономию места, особенно для файловых серверов и сред виртуализации VDI. Для последних экономия места может достигать 80 и более %.

Использование дополнительных опций, таких как расписание, управление типами файлов и возможность использовать исключения позволяет гибко настраивать дедупликацию. PowerShell предоставляет несколько командлетов, которые позволяют взаимодействовать, управлять и контролировать дедупликацию данных в Windows Server.

Ссылка
скопирована
Системное администрирование
Скидка 10%
Администратор Linux
Стань Linux администратором и сделай весомый шаг в сторону карьеры в DevOps. Самые важные знания от сертифицированного и практикующего тренера с 20 летним стажем
Получи бесплатный
вводный урок!
Пожалуйста, укажите корректный e-mail
отправили вводный урок на твой e-mail!
Получи все материалы в telegram и ускорь обучение!
img
Еще по теме:
img
Если вы пытаетесь создать свою домашнюю IT-лабораторию или отвечаете за какую-то небольшую IT-операцию, то, скорее всего, у вас
img
В наше время безопасность – это крайне важный компонент разработки программного обеспечения и приложения, а также управления сер
img
  Прошло уже много времени с тех пор, как появился первый веб-сервер. На сегодняшний день есть довольно много разных интересных
img
В эпоху, когда многие процессы автоматизированы, люди постоянно ищут способы, как эффективно выполнять задачи. А почему бы и нет
img
Введение В серверной стойке (серверном шкафу) хранится и размещается информационно-техническое оборудование, например, выделенны
img
  Всплески трафика могут стать как проблемой для вашей инфраструктуры хостинга, так и потрясающей возможностью для развития.  На
Комментарии
ЛЕТНИЕ СКИДКИ
40%
50%
60%
До конца акции: 30 дней 24 : 59 : 59