По вашему запросу ничего не найдено :(
Убедитесь, что запрос написан правильно, или посмотрите другие
наши статьи:
Цель стати разобраться с текстовыми потоками. А также рассмотреть фильтрование текстовых выводы логов их редактирование, журналов сообщений и т.д. Проще говоря, рассмотреть фильтрация и корректировка выводимого на экран текста. Текстовый поток так называется, потому что это выводимая информация может быть не просто статичный текстовый файл, а те текстовые файлы, которые постоянно меняются или дополняются в режиме реального времени.
Список стандартных команд, которые понадобятся для достижения цели:
Cat, cut, expand, fmt, head, join, less, nl, od, paste, pr, sed, sort, split, tail, tr, unexpand, uniq, wc
Для начала создадим пару текстовых файлов. Переходим в домашнюю корневую папку пользователя root. Переключение пользователя sudo su, и cd ~ . В любом текстовом редакторе создаем 2 файла hello1.txt и hello2.txt с содержанием как на скриншотах.
Первый. И второй ниже.
Команда cat
Начнем с команды, с которой уже не однократно встречались, команда cat. Сначала посмотрим справку по данной команде. man cat. Тут мы можем увидеть, что данная команда предназначена для объединения файлов и печати на стандартный вывод информации. Под стандартным выводом подразумевается вывод на консоль информации. Так же можно увидеть, что у данной команды есть ключи.
Самое простое применение данной команды. Вводим cat hello1.txt команда показывает то, что на скриншоте выше.
Проведем маленький эксперимент и выведем сразу информацию из двух созданных файлов.
cat hello1.txt hello2.txt
А в справке было написано, что команда может объединять содержимое файлов. Попробуем:
cat hello1.txt hello2.txt > hello3.txt
cat hello3.txt
Мы вывели на стандартный вывод (консоль) содержимое файлов и передали то, что на экране в новый файл hello3.txt. А затем просто вывели на консоль. Результат можно посмотреть на скриншоте ниже.
Если нам файл более не нужен можно воспользоваться командой для удаления файлов
rm hello3.txt
Команда cat более часто используется для объединения файлов, для просмотра содержимого чаще используются другие команды.
Команда cut
Данная команда предназначена для удаления секций из строчек файлов. Если посмотреть на ключи, то мы можем увидеть, что данная команда может удалять по различным признакам. По полям, по символам, по байтам, это интересная команда, которая позволяет нам вырезать части из файлов. Небольшой пример:
cut -c 2,3,4,5,10 hello1.txt
Данной командой мы говорим, что при выводе на экран нам необходимо "вырезать" перечисленные символы и вывести оставшееся на экран. Замечу, что команда cut не является текстовым редактором и поэтому фалы не правит! А только правит вывод в консоль. Если посмотреть командой cat hello1.txt файл остался неизменным.
Все команды, про которые речь в статье не редактируют исходные файлы, они только фильтруют или редактируют стандартный вывод информации. Для редактирования файлов используются текстовые редакторы.
Мы посмотрели, как данная команда редактирует вывод, на практике мы можем редактировать колонки, столбцы, вывода в каком-то конкретном логе или таблице. Т.е. мы можем выводить на экран только то, что нам нужно. Например, у нас есть лог события, какого-то, мы можем вывести только дату и события, остальное все лишнее отрезать данной командой в выводе.
Команда expand
man expand
Данная команда редко используется. Она необходима для конвертации символов табуляции в пробелы. Пример: expand hello2.txt и все табуляции превратились в пробелы. На практики редко применяемая команда.
Команда fmt
man fmt
Как написано в мануале это текст форматер. Это серьезная команда, она умеет форматировать вывод текста различными способами.
Теперь посмотрим, как данной командой пользоваться.
Например, написать fmt hello1.txt, как вы видите команда сделала вывод в одну строчку. Следовательно, команда без указания ключа, команда игнорирует все символы переноса каретки.
Т.е. все "enter" и перехода на новую строку он убрал.
Мы можем сказать, чтобы команда отформатировала текст так. чтобы на одной строке не было не более 5 символов, но это без переносов, если первое слово на 20 символов он его не перенесет, а если 2 слова по 2 символа, то оба оставит на этой строке.
fmt w 5 hello1.txt
Ничего не произошло, а если мы дадим fmt w 10 hello1.txt, то мы видим, что команда осуществила перенос. Таким образом можно просматривать длинные логи в удобном для нас виде, т. к. лог может уходить очень далеко в сторону, а через данную команду мы можем разбить на удобные абзацы для нас.
Команда head
man head
Показывает первую часть файлов. Очень удобная команда, для просмотра того, что было в начале файла. По умолчанию показывает первые 10 строк файла.
head /var/log/syslog
Для изменения, количества выводимых строк необходимо использовать ключ n и за ним указать необходимое количество строк.
Команда od
man od
Превращает файлы в другие форматы. Грубо говоря это программа конвертор. Редко используется на практике.
Используя данную команду по умолчанию, мы можем превратить файл в восьмеричный код od hello1.txt. Или с использованием ключа c превратить в формат ASCII, od c hello1.txt. это может понадобится для конвертации файла, например для другой машины со специфичным форматом данных.
Команда join
man join
Данная команда, объединяет строчки файлов по общему полю. Для того, чтобы понять, как работает данная команда необходимо создать 2 текстовых файла touch {1,2}.txt. Создаем сразу 2 файла 1.txt и 2.txt. И с помощью редактора nano редактируем. При применении команды join мы видим произошло объединение по полю нумерации.
Это удобно, например, для слияния файлов, особенно логов, например, два файла логов и вам необходимо их сопоставить по времени.
Команда less
man less
В описании команды говорится, что эта команда противоположна команде more. По сути это команда, которая позволяет читать файл.
Можно посмотреть работу ее на примере. Например, cat /var/log/syslog при запуске этой, команды мы получим очень большой вывод на несколько экранов. Если мы воспользуемся командой less /var/log/syslog, то вывод даст возможность листать постранично, через pgdn. Согласитесь, это намного упрощает чтение и просмотр файла. Бывает такое, что работа идет в консоли, в которой нету прокрутки, через мышку, то в таком случае данная команда становится вообще не заменимой. Если посмотреть описание, данная команда еще умеет делать небольшой поиск по файлу.
Команда nl
man nl
Нумерация строк. Простой пример. Берем файл и говорим пронумеровать строки. На картинке наглядно показано, как работает команда.
Команда paste
man paste
Команда вставка умеет вставлять построчно вставлять какие-то строки в файлы. Объединяет строки файлов, как написано в мануале.
У нас есть 2 файла 1.txt и 2.txt. Команда join их объединяла по определенному полю. Если мы применим команду paste мы увидим, что команда paste объединила их построчно.
Т.е. это может быть очень удобно. У нас объединились первые строки, вторые строки и т.д. Например, если мы сопоставляем какие-нибудь события или файлы и т.д.
Команда pr
man pr
Данная команда конвертирует текстовые файлы для вывода на печать. Очень наглядно можно увидеть, как работает данная команда, если ее применить к большому файлу. Например, pr /var/log/syslog
Как можно убедится, команда разбила вывод на страницы и подготовила данный вывод для печати.
Команда sed
man sed
Потоковый редактор для фильтрации и трансформирования текста. Это практически полноценный текстовый редактор, но опять же он не редактирует файлы, а работает с выводом.
Как его использовать, пример следующий заменим в файле 2.txt слово socks на слово people получается примерно так:
sed e ‘s/socks/people/’ 2.txt
Функционал у команды очень большой, вывод можно для себя очень сильно изменить, заменить слова, удалить, отредактировать, отрезать, добавить, все это можно делать с помощью данной команды. При этом содержимое файла не меняется. Меняется только для нас вывод.
Команда sort
man sort
Сортирует строки в файлах по какому-то признаку. Поработаем с файлом hello1.txt. Если мы применим команду к данному файлу sort hello1.txt, то мы увидим, что вывод отсортировал строчки по алфавиту. А если применить ключик r, то от сортируется в обратном порядке. Это удобно использовать так же в совокупности с другими командами, отсортировать лишнее.
Команда split
man split
Данная команда бьет файл на куски. Даная команда работает следующим образом. Даная команда разбивает файл на части, но при этом исходный не меняет. Например разобьем по строчкам фал 1.txt. split -l 2 1.txt . Разбивку делаем на 2 строчки. И мы видим, что у нас исходный файл остался неизменным, а появилось еще 2 файла xaa и xab. Они как раз и содержат разбиение.
Данную команду удобно применять к большим файлам и использовать ключик для разбивки по размеру, например, по байтам b и указываем на какие куски разбить в байтах. Пример:
split b 5 путь_к_файлу
Команда tail
man tail
В отличии от команды head, данная команда показывает последнюю часть файла. Например, tail /var/log/syslog нам покажет последнюю часть лога событий.
Добавляем ключ -n и число, мы получим число последних событий, которых мы указали. Очень полезный ключ -f, который говорит показывать добавление в файл на "живую", т.е в реальном времени. Очень удобно для диагностики, события пишутся в лог и сразу выводится на экран. Например, запись лога прокси сервера. Прерывание такого режима ctr+C.
Команда tr
man tr
Переводит или удаляет символы. Посмотрим на прямом выводе текста. Введем echo Hello. Далее введем echo Hello | tr -t A-Z a-z и заглавные буквы будут заменены строчными. Echo Hello | tr -t l L и маленькие l будет заменены на L. Echo Hello | tr -d l и буквы l будут удалены.
Мощный трансформатор текста. Работает непосредственно с текстом, ключей у него полно их можно посмотреть в мануале.
Команда unexpand
man unexpand
Работает в противоположную сторону команде expand. Конвертирует пробелы в знаки табуляции.
Обычно работают в паре expand и unexpand, для раздвижения столбцов.
Команда uniq
man uniq
Даная команда ищет уникальные и дублирующийся линии, т.е. она смотрит что у нас в строчках есть одинакового и разного. Для примера, я в файл 1.txt добавлю повторяющуюся строчку. И сделаю вывод uniq 1.txt команда покажет только уникальные строчки, а затем uniq c 1.txt и команда покажет строчки с числом повторений. Можно сказать, чтобы показала команда только дублирующиеся строчки uniq d 1.txt или неповторяющиеся uniq u 1.txt. Применение заключается в том. что если у нас есть файлы с повторяющееся информацией мы можем таким образом ее фильтровать.
Команда wc
man wc
Показывает число строк, байт, слов и т.д. для определенного файла. Например: wc 1.txt показывает 4 строки, 8 слов, 28 символов.
Можно использовать с ключом w покажет количество слов. И т.д., можно получить информацию полностью по папке:
wc *
За прошлый год Роскомнадзор зафиксировал 168 утечек персональных данных, в результате которых в открытый доступ попало более 300 млн записей. Самое большое количество атак пришлось
на ИТ-отрасль
(4,1 млрд строк). Крупная утечка произошла в сентябре 2023 года, когда в сеть попали данные 1 млн держателей карт МТС-банка. На втором месте оказались услуги (218,6 млн), на третьем – ритейл (187,4 млн). Все чаще крупный (и не только) бизнес задумывается о том, как защитить информацию и обезопасить своих пользователей. В связи с угрозой появилась отдельная должность в сфере информационной безопасности — пентестер. Ниже мы подробнее расскажем, кто это такой.
Пентестер ху из ит
Пентестер (от англ. penetration testing, «тест на проникновение») — специалист по информационной безопасности, который защищает системы от атак злоумышленников и анализирует их уязвимости. Еще его называют этичный или «белый» хакер. Звучит заманчиво, не правда ли? Заниматься взломом легаль и получать за это деньги. В этом материале мы подробнее рассмотрим, что это за работа, как стать пентестером, что они делают и сколько зарабатывают.
Навыки пентестера
Пентестер должен обладать широким спектром знаний и навыков в области информационной безопасности, компьютерных сетей, операционных систем, программирования и методов атаки. Ниже развернутый список необходимых навыков:
понимание операционных систем, таких как Linux, Windows, iOS, Android. Знание их уязвимостей является ключевым для защиты и отражения атак.
знание языков программирования. Часто это скриптовые языки, такие как Python, PHP или JavaScript.
умение разбираться в типах уязвимостей, включая программные баги, недостатки конфигурации и слабые места в сетевых протоколах, а также способы их эксплуатации.
знание основных сетевых протоколов (HTTP, TCP, DNS) / сетевых служб (Proxy, VPN, AD).
знание методологии пентестинга, то есть методологии проведения тестирования на проникновение
английский язык: часто он нужен для того, чтобы читать учебные материалы, техническую документацию или разобраться в кейсе.
Где учиться?
Путь в эту профессию может начинаться с базы: получите образование в области информационной безопасности или компьютерных наук: Многие пентестеры имеют степень бакалавра или магистра в информационной безопасности, компьютерных науках или смежных областях.
Дополнительно можно по максимуму использовать бесплатные ресурсы и источники: книги, курсы, сайты и YouTube-каналы для начинающих хакеров. К примеру можно заглянуть на сайт GitHub в раздел
Awesome Ethical Hacking Resources
. Здесь как раз собраны разнообразные материалы по пентестингу.
Для начинающих практиков есть возможность принять участие в CTF (Capture The Flag) соревнованиях. В крупном CTF конкурсе можно протестировать свои скиллы, получить признание среди единомышленников, привлечь внимание работодателей или получить денежную награду.
Разнообразные онлайн-курсы и ИТ-школы. Здесь мы рады посоветовать вам наш
курс по кибербезопасности
, где вы изучите хакерский майндсет и научитесь защищать инфраструктуру компании. Занятия рассчитаны на 2 месяца и подойдут как начинающим студентам, так и опытным специалистам. Для них подготовлены лабораторные работы.
Карьерный роадмап и зарплаты
Начнем с того, что у пентестера есть несколько вариантов развития карьеры. Во-первых, можно устроиться в отдел информационной безопасности крупной компании или присоединиться к команде пентестеров. Во-вторых, работать в качестве фрилансера по договору с малым или средним бизнесом, которому нет смысла нанимать постоянный штат специалистов. Следующая опция — Bug Bounty. Такие программы позволяют получить вознаграждение за найденные уязвимости в программном обеспечении компании. Принять участие может любой специалист, главное — придерживаться заявленных условий.
По состоянию на февраль 2024 года зарплаты белых хакеров на
hh.ru
варьируются от 80 до 400 тыс. рублей в месяц. Вакансий на русскоязычных ресурсах представлено не так много в отличие от программирования и разработки.
Итак, несмотря на то, что это развивающееся в России направление, востребованность специалистов по безопасности стабильно растёт. Пентестеры играют важную роль в компании, особенно в обеспечении безопасности информационных систем, и помогают защитить ее от кибератак.
Хранилище сервера - важнейшая часть с точки зрения отказоустойчивости. При не надлежащей настройке дисков, данные могут быть утеряны. Полбеды, если вы храните там только игрули, сериальчики и фотографии из поездки в Туапсе в 2005 году, а что если это корпоративные данные?
Поэтому, нужно быть уверенными, что если что - то случится с дисками, то данные не пропадут. Для этого используют технологию RAID (Redundant Array of Independent Disks) (не путать с RAID: Shadow Legends), или так называемый избыточный массив независимых дисков.
В RAID одни и те же данные копируются сразу на множество дисков, так что, в случае, если один диск выйдет из строя, потери данных не будет - копия есть на другом носителе.
Поговорим про четыре распространенных типа RAID массивов: RAID 0, RAID 1, RAID 5 и RAID 10.
Видео: RAID 0, 1, 5 и 10 | Что это?
RAID 0
Честно говоря, RAID 0 нифига не отказоустойчивый. Мы даже против того , чтобы RAID 0 имел название RAID. Скорее AID (Redundant Array of Independent Disks) 0.
В нем цельные данные дробятся на блоки и частями записываются на 2 (два) или более диска. Тем самым, 2 физически отдельных диска, на самом деле, объединяются в один.
И, например, если один из двух физических дисков случайно попадет под каток - вы потеряете все данные. Единственный случай, когда RAID 0 имеет смысл использовать, это если вы храните не критичные к потери данные к которым нужен доступ на высокой скорости. Да - да, RAID 0 имеет низкую отказоуйстойчивость, но высокую производительность.
RAID 1
А вот это парень уже вполне отказоустойчив. RAID 1 кстати еще называют зеркальным, по вполне простой причине - данные синхронно записываются на 2 и более диска сразу:
Тем самым, если один из дисков попадет в воду и выйдет из строя, данные не будут потеряны.
Важный пункт - если вы собираете в RAID 1 массив 2 (два) диска, то в результате вы будете иметь только половину от их общей памяти.
RAID 5
В пятом рэйде вам понадобятся 3 и более дисков. Он, кстати, один из наиболее распространенных рэйдов. Он работает быстро и может хранить много данных (в отличие от первого рэйда, например).
В RAID 5 данные не копируются между всеми дисками, а как в RAID 0 последовательно записываются частями на каждый из дисков, но с одним дополнением - к данным так же равномерно записывается контрольная сумма, которая называется parity, которая нужна для восстановления данных в случае, если один из дисков отвалится.
Важный недостаток RAID 5 в том, что это контрольная сумма занимает немало места. Например, если у вас 4 диска суммарным объемом в 4 терабайта, то использовать под хранение данных вы сможете только 3 терабайта - что около 75%. Остальное займет как раз контрольная сумма.
RAID 10
Подходим к финалу - десятый рейд. Но не спешите, не такой уж он и десятый. Цифру 10 он имеет потому, что с точки зрения технологии, сочетает в себе функциональность RAID 1 и RAID 0.
Создатели технологии уверены, что 1 + 0 = 10. Не будем их расстраивать, и разберемся в технологии.
Для десятого рейда вам понадобится минимум 4 диска или больше, но всегда их количество должно быть четным.
Говоря простым языком, 4 диска делятся на 2 группы, по 2 диска, и каждая из групп объединяется в отказоустойчивый RAID 1. Тем самым, мы имеем 2 зеркальных RAID 1 массива, которые в свою очередь, объединяются в RAID 0 массив - ну вы помните, где данные частями записываются на каждый из дисков. Только вместо дисков у нас по первому рэйду.
Тем самым, 10ый рэйд имеет все скоростные преимущества RAID 0 и преимущество надежности RAID 1, но стоит как чугунный мост, так как опять же, под реальное хранение данных вы сможете использовать только 50% от общего объема всех дисков.