По вашему запросу ничего не найдено :(
Убедитесь, что запрос написан правильно, или посмотрите другие
наши статьи:
Большинство из нас, работающих с системами на базе Debian, регулярно используют apt-get для установки пакетов и обновлений, но как часто мы пользуемся инструментами очистки? Давайте рассмотрим некоторые опции инструмента для очистки.
Выполнение команд apt-get в системе, основанной на Debian, является рутиной. Пакеты обновляются довольно часто, и такие команды, как apt-get update и apt-get upgrade, делают этот процесс довольно легким. С другой стороны, как часто вы используете apt-get clean, apt-get autoclean или apt-get autoremove?
Эти команды очищают и удаляют файлы, которые все еще находятся в вашей системе, но больше не нужны – часто потому, что приложение, которое требовало их, было удалено.
apt-get clean
Команда apt-get clean очищает локальный репозиторий от извлеченных файлов пакетов, оставшихся в каталоге /var/cache. Чистится содержимое каталогов: /var/cache/apt/archives/ и /var/cache/apt/archives/partial/. Единственные файлы, которые он оставляет в /var/cache/apt/archives - это файлы блокировки и подкаталог.
Перед запуском операции очистки в каталоге может находиться несколько файлов:
/var/cache/apt/archives/db6.1-util_6.1.27+dfsg1-0.7ubuntu2_amd64.deb
/var/cache/apt/archives/db-util_2%3a6.121~exp1ubuntu1_all.deb
/var/cache/apt/archives/lock
/var/cache/apt/archives/postfix_3.4.6-2ubuntu2_amd64.deb
/var/cache/apt/archives/sasl2-bin_2.2.25+dfsg-1build2_amd64.deb
Отобразить содержимое, указанное выше можно выполнив команду:
sudo ls –lR /var/cache/apt/archives
/var/cache/apt/archives:
Total 4
-rw-r----- 1 root root 0 Jan 20 2019 lock
drwx------2_apt root 4096 Jan 20 07:24 partial
var/cahe/apt/archives/partial:
total 0
NoSQL - это общее обозначение принципов, направленные на воплощение механизмов управления базами данных, которые имеют ощутимые отличия от привычных моделей с доступом к информации посредством языка SQL.
Если стандартные СУБД воплощают принципы атомарности, изолированности и согласованности, то NoSQL характеризуется гибким состоянием, которое может меняться с течением времени и базовой доступностью для каждого запроса.
К особенностям NoSQL можно отнести:
Использование любых типов хранилищ
Допускается разрабатывать БД без применения схемы
Масштабируемость в линейном формате - чем больше процессоров, тем выше производительность
Универсальность - большие возможности для хранения и аналитики данных
Базы данных на основе NoSQL получают широкое распространение, поскольку помогают создавать повышенное количество разных приложений.
Характеристики NoSQL
В БД NoSQL можно использовать все модели информации - текст, графика, документ с применением пары ключ-значение. Под термином NoSQL можно встретить разные БД, но есть ряд характеристик, присущих всем без исключения.
Не применяется SQL, под которым понимается ANSI SQL DML. Полностью реализовать его не удалось пока еще никому, хотя попытки адаптировать уже встречались.
Неструктурированная структура. В отличие от реляционных БД NoSQL не имеет стандартной структуры. Здесь можно добавлять поля в любых местах без изменения общего вида данных.
Информация представляется в виде агрегатов. БД NoSQL использует данные как целостные объекты, а не как часть общей информации.
Распределение происходит без совместных ресурсов.
При использовании принципов NoSQL представление данных может проводиться разными способами.
Вот несколько самых распространенных типов:
Ключ-знание - распространенный способ отражения данных. Методика чаще используется для хранения графических сведений
Столбцы - хранение в виде матрицы, в которой каждая строка и столбец являются ключом. Такие механизмы предназначены для хранения больших объемов информации, а также подходят при наличии счетчиков и ограничений по времени при использовании данных
Документированная СУБД подойдет для иерархического расположения сведений, чаще всего реализуется в издательском деле
Графовая база подойдет для воплощения социальных сетей, поскольку здесь реализуется большое количество связей
Таким образом, NoSQL становится универсальным способом расположения данных и может использоваться практически во всех отраслях.
Сравнение NoSQL и стандартных БД
В последнее время БД на основе NoSQL стали более популярными. И если ранее при разработке использовались в основном реляционные БД, то сегодня они уже идут вровень.
Реляционные БД сегодня используются чаще для строгих транзакций, подходят для определенных алгоритмов и аналитических действий. NoSQL распространяются практически на любые направления и могут использоваться для аналитики неструктурированной информации.
Если сравнивать показатели обеих принципов, то реляционные базы характеризуются более жесткими требованиями, повышенной четкостью и рамками исполнения задач. В то время как NoSQL более вариативна, гибко подстраивается под условия задачи и допускает горизонтальное масштабирование при необходимости.
Таким образом, нельзя сказать, что однозначно один механизм лучше другого. Сегодня традиционные БД оптимально дополняются базами NoSQL, что значительно расширяет горизонт возможностей.
Цель данной статьи, чтобы разобраться с тем как поправить незначительные ошибки, возникающие в файловых системах. Файловых систем много, поэтому много различных инструментов для работы с ними. Поэтому будет рассказано об основных инструментах к основным стандартным системам Linux. И рассмотрим несколько инструментов к рекомендованным LPIC файловым системам. Рассмотрим, так же журналируемые файловые системы и посмотрим индексные дескрипторы.
Проверка целостности файловой системы;
Проверка свободного пространства и индексных дескрипторов в файловой системе;
Исправление проблем файловой системы.
Список утилит:
df, du, fsck, debugfs – общие утилиты для всех Linux систем
mke2fs, e2fsck, dumpe2fs, tune2fs – утилиты для файловой системы ext
xfs_check, xfs_repair, xfs_info, xfs_metadump – утилиты для файловой системы xfs
Совершенно понятно, что для других файловых систем есть свои утилиты для работы с данными файловыми сиcтемами.
Первая утилита df:
man df
Данная утилита показывает использование дискового пространства. У данной утилиты достаточно много ключей. Её особенностью является то, что она показывает дисковое пространство в 1 кбайт блоках.
Данные цифры не очень понятны и удобны, для того чтобы было удобно можно использовать ключ –h и тогда вид станет удобно читаемым. В выводе команды мы сразу видим размер, сколько использовано, процент использование и точка монтирования. Как мы видим на новом перемонтированном разделе /dev/sdc1 занят 1% дискового пространства. Если посмотреть в папку монтирования раздела, то мы увидим там папку lost+found. Данная папка пуста, но занимает 37 МБ. Есть такое понятие индексные дескрипторы в журналируемых файловых системах inode. Inode – это метка идентификатора файла или по другому индексный дескриптор. В этих индексных дескрипторах хранится информация о владельце, типе файла, уровне доступа к нему. И нужно понимать, что для каждого файла создается свой отдельный inode. Команда df –I может показать нам inode.
Число, например, inode напротив /dev/sda2 показывает сколько inode всего может быть на устройстве, далее сколько используется и сколько свободно. Обычно под inode отдается примерно 1% жесткого диска. И получается, что больше чем число inode на устройстве файлов и папок быть не может. Количество inode зависит от типа файловой системы. Далее мы рассмотрим, как пользоваться inode.
Следующая команда du
man du
Данная команда показывает, что и сколько занимает у нас места на жестком диске, а именно размер папок в текущей директории. Если посмотреть вывод данной команды без ключей, то мы увидим список папок в текущей директории и количество блоков, с которым очень неудобно работать. Чтобы перевести данные блоки в человеческий вид, то необходимо дать ключ –h.
А для еще большего удобства, можно установить замечательную утилиту ncdu простой командой.
sudo apt install ncdu –y
После установки нужно запустить ncdu. И мы увидим очень красивую картинку.
Но вернемся к стандартной утилите du. С помощью данной утилиты мы можем указать в какой папке необходим просмотр папок и вывод их размера.
du –h /home
К сожалению данная утилита умеет взвешивать вес только каталогов и не показывает размер файлов. Для того, чтобы посмотреть размер файлов, мы конечно же можем воспользоваться командой ls –l. А также если мы запустим данную команду с ключем –i мы увидим номера inode файлов.
Как вы видите у каждой папки и у каждого файла есть свой индексный дескриптор.
Далее команды, которые нам позволят проверить целостность файловой системы.
Команда fsck
man fsck
Как написано в описании утилиты она позволяет проверять и чинить Linux файловую систему.
Мы можем видеть, например, в oперационной системе Windows, что в случае некорректного завершения работы операционной системы, операционная система запускает утилиту проверки целостности checkdisk. В случае необходимости данная утилита исправляет найденные ошибки в файловой системе. Следовательно, в Linux данные операции выполняет утилита fsck, причем может работать с различными файловыми системами Linux операционных систем. Мы можем попробовать воспользоваться утилитой fsck /dev/sdc1. В ответ от операционной системы мы получим следующее:
Как мы видим операционная система вернула в ответ на команду для работы с данным разделом, что данный раздел с монтирован и операция прервана. Аналогичную ситуацию мы будем наблюдать в операционной системе Windows, если мы будем пытаться рабочий раздел проверить на ошибки. Т.е возникнет следующая ситуация. Если мы будем проверять дополнительный логический диск, где не установлена операционная система Windows, то данный раздел на время проведения тестов будет отключен и будут идти проверки. А если мы попытаемся проверить основной раздел, куда установлена операционная система Windows, то операционная система не сможет запустить данную утилиту и попросит перезагрузиться для запуска данной утилиты. В нашем случае придется делать точно так же. Поэтому, чтобы проверить необходимо отключить (от монтировать раздел) и после уже этого запускать утилиту.
Из вывода можно заметить утилита пыталась запустить другую утилиту e2fsck, которая в данном случае отвечает за проверку файловых систем extext2ext3ext4. О чем достаточно подробно написано в описании данной утилиты. По сути fsck запускает утилиту ту, которая идет в пакете утилит для конкретной файловой системы. Бывает такое, что fsck не может определить тип файловой системы.
Для того, чтобы утилита все-таки проверила файловую систему, необходимо отмонтировать логический раздел. Воспользуемся командой umount /mnt.
И запускаем непосредственно саму проверку fsck –t ext4 /dev/sdc1
Проходит проверка моментально. Команда fsck запустилась и запустила необходимую утилиту для файловой системы. По результатам проверки файловая система чистая, найдено 11 файлов и 66753 блока. При обнаружении проблем, утилита предложила нам исправить.
Для того, чтобы посмотреть на проверку другой файловой системы, необходимо переформатировать раздел.
mkfs –t xfs –f /dev/sdc1
При попытке запуска проверки без указания типа файловой системы fsck /dev/sdc1
Как мы видим, утилита fsck отказалась проверять или вызывать утилиту, а явно указала на ту которую необходимо использовать в данном случае. Для проверки используем xfs_ncheck /dev/sdc1. А для починки файловой системы xfs_repair /dev/sdc1.
Перемонтируем обратно наш раздел mount /dev/sdc1 /mnt
Теперь можно получить информацию по разделу xfs_info /dev/sdc1
Или сделать дамп файловой системы xfs_metadump /dev/sdc1 dump.db
Переформатируем файловую систему ext4 на разделе обратно /dev/sdc1. Перемонтируем в папку mnt. Создадим текстовый файл с текстом на данном разделе nano /mnt/test.txt
Далее мы можем посмотреть следующую утилиту man debugfs. Данная утилита умеет очень многое: очень много ключей и различных опций. Чистит, удаляет, чинит, работает с inodes.
Зайти в данную утилиту можно debugfs –w /dev/sdc1. Набираем help и видим кучу опций.
Можно попросить данную утилиту вывести содержимое нашего тома.
ls
В результате данной команды мы увидим 2 объекта с номерами их inode. Теперь мы можем сказать rm test.txt и файл будет удален, точнее не сам файл а его индексный дескриптор., если посмотреть опять с помощью команды ls. То будет видно, что количество объектов не изменилось. Следовательно, мы этот файл в журналируемых файловых системах можем восстановить, восстановив его индексный дескриптор. Но только до тех пор, пока на место удаленного файла не был записан другой. Именно поэтому если требуется восстановление информации на диске, рекомендуется немедленно отключить ПК и после этого отдельно подключать носитель информации для процедуры восстановления. Так же на данном принципе основано сокрытие информации в Информационной безопасности, когда на носитель информации в 2 или 3 прохода записываются псевдослучайные данные. Для восстановления данных мы можем использовать команду lsdel. Данная команда показывает удаленные файлы.
В принципе на данном debugfs и основаны многие программы для восстановления данных.
На скриншоте хорошо видно, что был удален 1 inode с номером 12 дата и время, другие параметры. Для выхода используем q. Для восcтановления используем undel test.txt, команда, номер индексного дескриптора и имя файла с которым оно восстановится. Убедиться, что файл на месте можно с помощью команды ls.
Утилита debagfs помогает восстанавливать файлы и вообще работать с файловой системой на низком уровне. Конечно восстанавливать по 1 файлу, это очень трудозатратно. Поэтому вот эти низкоуровневые утилиты используют более современные программы.
Еще одна утилита dumpe2fs. Можно вызвать справку по данной утилите man dumpe2fs
Данная команда делает дамп информации, которая хранится на данных томах. Выполним данную команду для /dev/sdc1
Мы получим следующий вывод информации.
Данный вывод был сделан на стандартный вывод – т.е экран. Сделаем вывод в файл, например:
dumpe2fs /dev/sdc1 > /tmp/output.txt
Мы можем просмотреть информацию в выведенную в файл поэкранно с помощью less /tmp/output.txt
В выводе мы сможем увидеть основные опции данной файловой системы.
Переделаем файловую систему, текущую ext4 в ext2. Это можно сделать 3-мя способами с помощью утилит: mkfs, mke2fs, mkfs.ext2. Перед переформатирование необходимо отмонтировать файловую систему. После форматирования и перемонтируем. Опять снимаем дамп и передаем по конвееру на команду grep чтобы посмотреть features. Получаем следующее:
dumpe2fs /dev/sdc1 | grep features
И видим, что файловые системы отличаются, более новая файловая система имеет фишку журналирования has_jounal. Данная опция так же присутствует в ext3. Т.е в данных файловых системах имеются журналы с помощью которых удобно восстанавливать.
Есть интересная утилита tune2fs – настраивать файловую систему.
man tune2fs
Данная утилита, как следует из описания настраивает настраиваемые параметры файловых систем. Например, у нас есть не журналируемая файловая система ext2. Мы даем команду tune2fs –O has_journal /dev/sdc1. Данная утилита добавляет опцию ведения журнала к файловой системе ext2. Или можем наоборот сказать удалить опцию поставив значок ^.