По вашему запросу ничего не найдено :(
Убедитесь, что запрос написан правильно, или посмотрите другие
наши статьи:
За последние несколько лет, объем устройств хранения увеличился в несколько раз, и параллельно с ним увеличивается объем используемых данных. Появляются мощные инструменты, позволяющие наиболее эффективно использовать выделенное пространство. Одна из технологий, доступных в Windows Server - это дедупликация. Microsoft продолжает добавлять новые возможности к функции дедупликации с каждым новым выпуском Windows.
Рассмотрим само понятие дедупликации, инсталляцию компонентов и работу в Windows Server. Включение дедупликации на томе, использование Планировщика заданий, а также использование PowerShell для проверки статуса работы и управления.
Что такое дедупликация данных в Windows Server?
Файловый сервер предприятия – хороший пример, с помощью которого можно визуализировать, на сколько могут быть огромны объемы пользовательских данных. На файловом ресурсе можно найти множество копий одних и тех же файлов или близко схожих по внутренней структуре, т.е. в нескольких файлах будут дублироваться блоки данных. Одни и те же отчеты, письма, служебные документы пересылаются и сохраняются пользователями разных подразделений на одном и том же файловом сервере. А это, в свою очередь, приводит к появлению избыточных копий, которые влияют на эффективность хранения данных и последующего резервирования.
В традиционных средах хранения так и происходит. Дедупликация предоставляет средства для однократного сохранения данных и создания ссылок на фактическое расположение данных. Таким образом, среда хранения перестает хранить дублирующуюся информацию. Компания Microsoft также продолжает совершенствовать функции дедупликации. В Windows Server 2019 появилась возможность выполнять дедупликацию томов NTFS и ReFS. До Windows Server 2019 дедупликация ReFS была невозможна.
Как работает дедупликация данных Windows Server?
Для реализации дедупликации данных в Windows Server использует два принципа
Процесс дедупликации с данными выполняется не моментально. Это означает, что процесс дедупликации не будет влиять на производительность в процессе записи файла. Когда данные записываются в хранилище, они не оптимизируются. После этого запускается процесс оптимизации дедупликации, чтобы гарантировать дедупликацию данных.
Конечные пользователи не знают о процессе дедупликации - дедупликация в Windows Server полностью прозрачна. Пользователи не подозревают, что они могут работать с дедуплицированными данными.
Для успешной дедупликации данных в соответствии с принципами, перечисленными выше, Windows Server использует следующие шаги:
Файловая система сканирует хранилище, чтобы найти файлы, соответствующие политике оптимизации дедупликации.
Файлы дробятся на фрагменты.
Идентифицируются уникальные фрагменты данных
Фрагменты помещаются в хранилище фрагментов.
Создаются ссылки на хранилище фрагментов, чтобы было перенаправление при чтении этих файлов на соответствующие фрагменты.
Использование дедупликации
Ниже описана примерная экономия места при использовании дедупликации.
80–95% для сред виртуализации VDI, ISO файлы.
70–80% для файлов программного обеспечения, файлов CAB и других файлов.
50–60% для общих файловых ресурсов, которые могут содержать огромное количество дублированных данных.
30–50% для стандартных пользовательских файлов, которые могут включать фотографии, музыку и видео.
Установка компонентов дедупликации в Windows Server
Процесс установки Data Deduplication прост. Дедупликация данных является частью роли файловых служб и служб хранения. Можно установить используя графический интерфейс Server Manager, используя Windows Admin Center или командлет PowerShell.
Включить Дедупликацию из PowerShell можно следующим командлетом:
Install-WindowsFeature -Name FS-Data-Deduplication
Третий способ установить Дедупликацию данных – через Windows Admin Center перейдя в меню Roles & Features и установить галку напротив Data Deduplication. Затем нажать Install. Windows Admin Center предварительно должен быть установлен!
Включение дедупликации данных на томе
После того, как была установлена Дедупликация данных, процесс включения на томе будет простым. Используя Server Manager (Диспетчер серверов) перейдите к File and Storage Services (Файловым службам и службам хранения) -> Volumes (Тома) -> Disks (Диски). Выберите нужный диск. Затем выберите том, который находится на диске, на котором нужно запустить процесс дедупликации.
Выберем Configure Data Deduplication
На этом этапе можно выбрать тип данных для дедупликации: файловый сервер, VDI или Backup Server, в Параметрах установить возраст файлов для дедупликации, возможность добавить файлы или папки для исключения.
Здесь же настраивается расписание
В конфигурации расписания можно добавить дополнительное задание на то время, когда сервер используется минимально, чтобы максимально использовать возможности дедупликации.
Выполнение запланированных задач дедупликации данных
После создания расписания, в Task Scheduler (Планировщик заданий) создается новая задача, работающая в фоновом режиме. По умолчанию процесс дедупликации стартует каждый час. Запустив Task Scheduler и перейдя по пути MicrosoftWindowsDeduplication можно запустить задачу BackgroundOptimization вручную.
Использование PowerShell для проверки работы и управления дедупликацией
В PowerShell имеются командлеты для мониторинга и управления дедупликацией
Get-DedupSchedule – покажет расписание заданий
Можно создать отдельное дополнительное задание по оптимизации дедупликации на томе E: с максимальным использованием ОЗУ 20%
Start-DedupJob -Volume "E:" -Type Optimization -Memory 20
Get-DedupStatus – отобразит состояние операций дедупликации и процент дедупликации
На данном этапе нет экономии места после включения дедупликации данных. В настройках расписания указано дедуплицировать файлы старше 2-х дней.
После запуска процесса мы начинаем видеть экономию места на томе.
Get-DedupMetadata - просмотр метаданных по дедупликации
Server Manager также отобразит измененную информацию.
Если нужно отключить использование дедупликации, нужно использовать два командлета:
Disable-DedupVolume -Volume
Start-DedupJob -type Unoptimization -Volume
Необходимо учесть, что обратный процесс уменьшит свободное пространство на томе и у вас должно быть достаточно для этого места.
Вывод
Дедупликация данных в Windows Server - отличный способ эффективно использовать место на устройствах хранения данных. С каждым выпуском Windows Server возможности дедупликации продолжают улучшаться. Дедупликация обеспечивает огромную экономию места, особенно для файловых серверов и сред виртуализации VDI. Для последних экономия места может достигать 80 и более %.
Использование дополнительных опций, таких как расписание, управление типами файлов и возможность использовать исключения позволяет гибко настраивать дедупликацию. PowerShell предоставляет несколько командлетов, которые позволяют взаимодействовать, управлять и контролировать дедупликацию данных в Windows Server.
OpenSSH позволяет выполнять удаленное подключение к серверу, производить манипуляции с файлами и управлять системой. Сегодня хотим рассказать про лучшие методы, которые позволят увеличить безопасность системы на базе OpenSSH.
Конфигурационные файлы
/etc/ssh/sshd_config - файл конфигурации сервера OpenSSH;
/etc/ssh/ssh_config - файл конфигурации клиентской части OpenSSH;
~/.ssh/ - директория, в которой хранятся пользовательские SSH настройки;
~/.ssh/authorized_keys или ~/.ssh/authorized_keys - список ключей (RSA или DSA), которые используются для подключения к пользовательским аккаунтам;
/etc/nologin - если данный файл существует в системе, то sshd запретит подключаться всем пользователям кроме root в систему;
/etc/hosts.allow и /etc/hosts.deny - система запрета (часть безопасности). Работает по аналогии с ACL;
SSH порт по умолчанию - 22
Не нужен - выключай
Если вашему серверу не требуется удаленное подключение по SSH, то обязательно отключите его. В таких системах как CentOS/RHEL делается это так:
chkconfig sshd off
yum erase openssh-server
Используйте SSH второй версии
Протокол SSH первой версии имеет проблемы с безопасностью, которые закрыты во второй версии. Поэтому, используйте вторую версию. Убедитесь, что в файле /etc/ssh/sshd_config указана опция Protocol 2.
Ограничивайте SSH доступ
По умолчанию, все системные пользователи имеют возможность подключаться к системе по SSH. Рекомендуем ограничить SSH доступ в целях безопасности. Например, разрешить SSH для пользователей root, merion и networks:
AllowUsers root merion networks
С другой стороны, вы можете разрешить доступ всем пользователям, кроме указанных:
DenyUsers root merion networks
Время неактивности
Важно указывать время, в течение которого, неактивная сессия будет терминирована (завершена). Это можно сделать следующими опциями:
ClientAliveInterval 300
ClientAliveCountMax 0
В данной настройке мы указали время бездействия равным 300 секунд (5 минут).
Про файлы .rhosts
Дело в том, что данный файл содержит список хостов и пользователей. Если в данном файле содержится комбинация хоста и юзера, то данный пользователь сможет подключиться к системе по SSH без запроса пароля. Рекомендуем отключить эту «замечательную» фичу:
IgnoreRhosts yes
Никакой аутентификации на базе хоста!
Так называемая Host-Based Authentication позволяет пользователю с определенного хоста подключаться к серверу. Отключаем:
HostbasedAuthentication no
Прямое подключение через root
Не нужно открывать root. Максимум, советуем использовать прямое root подключение на время проведения работ. Затем отключать. Лучше давать su (sudo) доступ для некоторых категория пользователей. Закрыть можно вот так:
PermitRootLogin no
Сделайте баннер
Для каждого подключающегося сделайте баннер, в котором можно угрожать злоумышленникам, которые пытаются совершить несанкционированный доступ. За настройку баннера отвечает параметр Banner.
22 порт только изнутри!
Сделайте доступ к 22 порту системы только через цепочку фаервол правил. Лучше всего, оставить доступ только изнутри LAN. Например, в Iptables можно дать доступ для 192.168.11.0/24:
-A RH-Firewall-1-INPUT -s 192.168.11.0/24 -m state --state NEW -p tcp --dport 22 -j ACCEPT
Где слушать
По умолчанию SSH слушает подключения на всех доступных интерфейсах. Мы рекомендуем сменить порт по умолчанию и указать IP – адрес, на котором необходимо ожидать подключения. Например, мы укажем порт 962 и IP – адрес 192.168.11.24
Port 962
ListenAddress 192.168.11.24
Криптостойкие пароли
Используйте устойчивые к защите пароли. В сети множество инструментов, которые сгенерируют криптостойкий пароль онлайн, бесплатно и без смс :)
Запретить пустые пароли
Бывают пользователи без паролей. Их доступ к SSH так же необходимо запретить с помощью опции:
Port 962
PermitEmptyPasswords no
Анализируйте логи
Установите логирование событий в режим INFO или DEBUG – это позволит иметь расширенный контроль над системой:
LogLevel INFO
Для любых интерфейсов 10/100 Мбит/с или 10/100/1000Мбит/с, то есть интерфейсов, которые могут работать на разных скоростях, коммутаторы Cisco по умолчанию устанавливают значение duplex auto и speed auto. В результате эти интерфейсы пытаются автоматически определить скорость и настройку дуплекса. Кроме того, как вы уже знаете, можно настроить большинство устройств, включая интерфейсы коммутатора, для использования определенной скорости и/или дуплекса.
В реальности, использование автосогласования не требует каких либо дополнительных настроек: просто можно выставить параметры скорости и дуплекса по умолчанию, и пусть порт коммутатора определяет, какие настройки использовать автоматически. Однако проблемы могут возникнуть из-за неудачных комбинаций настроек.
Автоматическое согласование в рабочих сетях
Устройства Ethernet, объединенные каналами связи, должны использовать один и тот же стандарт. В противном случае они не смогут корректно передавать данные. Например, старый компьютер с сетевым адаптером стандарта 100BASE-T, который использует двухпарный UTP-кабель со скоростью 100 Мбит /с, не сможет "общаться" с коммутатором, подключенному к ПК, так как порт коммутатора использует стандарт 1000BASE-T. Даже если подключите кабель, работающий по стандарту Gigabit Ethernet, канал не будет работать с оконечным устройством, пытающимся отправить данные со скоростью 100 Мбит /с на порт другого устройства, работающем со скоростью 1000 Мбит /с.
Переход на новые и более быстрые стандарты Ethernet становится проблемой, поскольку обе стороны должны использовать один и тот же стандарт. Например, если вы замените старый компьютер, который поддерживает стандарт передачи данных 100BASE-T , на новый, работающий по стандарту 1000BASE-T, то соответственно порты коммутатора на другом конце линии связи должны также работать по стандарту 1000BASE-T. Поэтому, если у вас коммутатор только с поддержкой технологии 100BASE-T, то вам придется его заменить на новый. Если коммутатор будет иметь порты, которые работают только по технологии 1000BASE-T, то соответственно вам придется заменить все старые компьютеры, подключенные к коммутатору. Таким образом, наличие как сетевых адаптеров ПК (NIC), так и портов коммутатора, поддерживающих несколько стандартов/скоростей, значительно облегчает переход к следующему улучшенному стандарту.
Протокол автосоглосования (IEEE autonegotiation) значительно облегчает работу с локальной сетью, когда сетевые адаптеры и порты коммутатора поддерживают несколько скоростей. IEEE autonegotiation (стандарт IEEE 802.3 u) определяет протокол, который позволяет двум узлам Ethernet, на основе витой пары, договариваться таким образом, чтобы они одновременно использовали одинаковую скорость и параметры дуплекса. Вначале каждый узел сообщает соседям, свои "возможности" по передаче данных. Затем каждый узел выбирает наилучшие варианты, поддерживаемые обоими устройствами: максимальную скорость и лучшую настройку дуплекса (full duplex лучше, чем half duplex) .
Автосогласование основывается на том факте, что стандарт IEEE использует одни и те же выводы кабеля для 10BASE-T и 100BASE-T (можно использовать кабель с двумя витыми парами). И что бы согласование проходило по технологии 1000BASE-T IEEE autonegotiation просто подключает новые две пары в кабеле (необходимо использовать кабель с четырьмя витыми парами).
Большинство сетей работают в режиме автосогласования, особенно между пользовательскими устройствами и коммутаторами локальной сети уровня доступа, как показано на рисунке 1. В организации установлено четыре узла. Узлы соединены кабелем с поддержкой Gigabit Ethernet (1000BASE-T). В результате, линия связи поддерживает скорость 10Мбит /с, 100Мбит /с и 1000Мбит /с. Оба узла на каждом канале посылают друг другу сообщения автосогласования. Коммутатор в нашем случае может работать в одном из трех режимов: 10/100/1000, в то время как сетевые платы ПК поддерживают различные опции. Настроены в ручную
Рисунок отображает концепцию автоматического согласования стандарта IEEE. В результате сетевая карта и порт на коммутаторе работают правильно. На рисунке показаны три ПК - 1, 2 и 3, подключенные к общему коммутатору. Сетевые адаптеры этих узлов имеют характеристики соответственно: 1 ПК 10 Mb/s, 2 ПК - 10/100 Mb/s и 3 ПК - 10/100/1000 Mb/s. ПК подключаются к коммутатору через порт поддерживающий режим работы 10/100/1000 Mb/s.
С обеих сторон автосогласование включено. Результатом во всех трех случаях является: дуплекс включен в режиме FULL, выставлена соответствующая скорость.
Далее разберем логику работы автосоглосования на каждом соединении:
ПК 1: порт коммутатора сообщает, что он может работать на максимальной скорости в 1000 Мбит /с, но сетевая карта компьютера утверждает, что ее максимальная скорость составляет всего 10 Мбит / с. И ПК, и коммутатор выбирают самую быструю скорость, на которой они могут работать совместно (10 Мбит /с), и устанавливают лучший дуплекс (full).
ПК2 сообщает коммутатору, что максимальная скорость передачи данных его сетевой карты составляет 100 Мбит /с. Это означает что ПК2 может работать по стандарту 10BASE-T или 100BASE-T. Порт коммутатора и сетевой адаптер договариваются использовать максимальную скорость в 100 Мбит /с и полный дуплекс (full).
ПК3: сообщает коммутатору, что его сетевая карта может работать в трех режимах: 10/100/1000 Мбит/с, и соответственно поддерживает все три стандарта. Поэтому и сетевая карта, и порт коммутатора выбирают максимальную скорость в 1000 Мбит /с и полный дуплекс (full).
Одностороннее автосогласовние (режим, при котором только один узел использует автоматическое согласование)
На рисунке 1 показано двухстороннее автосогласования IEEE (оба узла используют этот процесс). Однако большинство устройств Ethernet могут отключить автоматическое согласование, и поэтому важно знать, что происходит, когда один из узлов использует автосогласование, а другой нет.
Иногда возникает необходимость отключить автосогласование. Например, многие системные администраторы отключают автосогласование на соединениях между коммутаторами и просто настраивают желаемую скорость и дуплекс. Однако могут возникнуть ошибки, когда одно устройство использует автосогласование, а другое нет. В этом случае связь может не работать вообще, или она может работать нестабильно.
IEEE autonegotiation (автосогласование) определяет некоторые правила (значения по умолчанию), которые узлы должны использовать в качестве значений по умолчанию, когда автосогласование завершается неудачей-то есть когда узел пытается использовать автосогласование, но ничего не слышит от устройства.
Правила:
Скорость: используйте самую низкую поддерживаемую скорость (часто 10 Мбит / с).
Дуплекс: если ваша скорость равна 10 Мбит/, используйте полудуплекс (half duplex); Если 100 Мбит/с используйте полный дуплекс (full duplex) .
Коммутаторы Cisco могут самостоятельно выбирать наилучшие настройки порта по скорости и дуплексу, чем параметры IEEE, установленные по умолчанию (speed default). Это связано с тем, что коммутаторы Cisco могут анализировать скорость, используемую другими узлами, даже без автосогласования IEEE. В результате коммутаторы Cisco используют эту свою возможность для выбора скорости, когда автосогласование не работает:
Скорость: происходит попытка определения скорости (без использования автосогласования), если это не удается, используются настройки по умолчанию (устанавливается самая низкая поддерживаемая скорость, обычно 10 Мбит/с).
Дуплекс: в зависимости от установленной скорости настраиваются параметры дуплекса: если скорость равна 10 Мбит/с назначается полудуплекс (half duplex), если скорость равна 100 Мбит/с, то используется полный дуплекс (full duplex).
Гигабитные интерфейсы (1Gb/s) всегда используют полный дуплекс.
На рисунке 2 показаны три примера, в которых пользователи изменили настройки свих сетевых карт и отключили автоматическое согласование, в то время как коммутатор (на всех портах поддерживается скорость 10/100/1000 Мбит/с) пытается провести автосогласование. То есть, на портах коммутатора выставлены параметры скорости (speed auto) и (duplex auto) дуплекса в режим auto. В верхней части рисунка отображены настроенные параметры каждой сетевой карты компьютеров, а выбор, сделанный коммутатором, указан рядом с каждым портом коммутатора.
На рисунке показаны результаты работы автосогласования IEEE с отключенным режимом автосогласования на одной стороне. На рисунке показаны три компьютера - 1, 2 и 3, подключенные к общему коммутатору. Параметры сетевых адаптеров этих систем следующие: ПК1- 10/100Мбит/с, ПК2 - 10/100/1000 Мбит/с и ПК3 - 10/100Мбит/с. Компьютеры соединены с коммутатором через интерфейсы F0/1, F0/2 и F0/3. На стороне компьютеров автосогласование отключено, и произведены настройки скорости и дуплекса вручную, которые вы можете посмотреть на рисунке 2. На стороне коммутатора включено автосогласование (10/100/1000).
Разберем работу устройств на рисунке:
ПК1: коммутатор не получает сообщений автосогласования, поэтому он автоматически определяет скорость передачи данных ПК1 в 100 Мбит/с. Коммутатор использует дуплекс IEEE по умолчанию, основанный на скорости 100 Мбит/с (полудуплекс).
ПК2: коммутатор использует те же действия, что и при анализе работы с ПК1, за исключением того, что коммутатор выбирает использование полного дуплекса, потому что скорость составляет 1000 Мбит / с.
ПК3: пользователь установил самую низшую скорость (10 Мбит/с) и не самый лучший режим дуплекса (half). Однако коммутатор Cisco определяет скорость без использования автосогласования IEEE и затем использует стандарт IEEE duplex по умолчанию для каналов 10 Мбит / с (half duplex).
ПК1.Итог работы этой связки: дуплексное несоответствие. Оба узла используют скорость 100 Мбит/с, поэтому они могут обмениваться данными. Однако ПК1, используя полный дуплекс, не пытается использовать carrier sense multiple access (CSMA) для обнаружения столкновений (CSMA / CD) и отправляет кадры в любое время. В свою очередь интерфейс коммутатора F0/1 (в режиме half duplex), использует CSMA / CD. Отчего порт коммутатора F0/1 будет считать, что на канале происходят коллизии, даже если физически они не происходят. Порт остановит передачу, очистит канал, повторно отправит кадры и так до бесконечности. В результате связь будет установлена, но работать она будет нестабильно.