По вашему запросу ничего не найдено :(
Убедитесь, что запрос написан правильно, или посмотрите другие наши статьи:
img
Нормализация базы данных (БД) - это метод проектирования реляционных БД, который помогает правильно структурировать таблицы данных. Процесс направлен на создание системы с четким представлением информации и взаимосвязей, без избыточности и потери данных. В данной статье рассказывается, что такое нормализация базы данных, и объясняются принципы ее работы на практическом примере. Что такое нормализация базы данных? Нормализация базы данных - это метод создания таблиц БД со столбцами и ключами путем разделения (или декомпозиции) таблицы большего размера на небольшие логические единицы. В данном методе учитываются требования, предъявляемые к среде БД. Нормализация - это итеративный процесс. Как правило, нормализация БД выполняется через серию тестов. Каждый последующий шаг разбивает таблицу на более легкую в управлении информацию, чем повышается общая логичность системы и простота работы с ней. Зачем нужна нормализация базы данных? Нормализация позволяет разработчику БД оптимально распределять атрибуты по таблицам. Данная методика избавляет от: атрибутов с несколькими значениями; задвоения или повторяющихся атрибутов; атрибутов, не поддающихся классификации; атрибутов с избыточной информацией; атрибутов, созданных из других признаков. Необязательно выполнять полную нормализацию БД. Однако она гарантирует полноценно функционирующую информационную среду. Этот метод: позволяет создать структуру базы данных, подходящую для общих запросов; сводит к минимуму избыточность данных, что повышает эффективность использования памяти на сервере БД; гарантирует максимальную целостность данных, устраняя аномалий вставки, обновления и удаления. Нормализация базы данных преобразует общую целостность данных в удобную для пользователя среду. Избыточность баз данных и аномалии Когда вы вносите изменения в таблицу избыточностью, вам придется корректировать все повторяющиеся экземпляры данных и связанные с ними объекты. Если этого не сделать, то таблица станет несогласованной, и при внесении изменений возникнут аномалии. Так выглядит таблица без нормализации: Для таблицы характерна избыточность данных, а при изменении этих данных возникают 3 аномалии: Аномалия вставки. При добавлении нового «Сотрудника» (employee) в «Отдел» (sector) Finance, обязательно указывается его «Руководитель» (manager). Иначе вы не сможете вставить данные в таблицу. Аномалия обновления. Когда сотрудник переходит в другой отдел, поле «Руководитель» содержит ошибочные данные. К примеру, Джейкоб (Jacob) перешел в отдел Finance, но его руководителем по-прежнему показывается Адам (Adam). Аномалия удаления. Если Джошуа (Joshua) решит уволиться из компании, то при удалении строки с его записью потеряется информация о том, что отдел Finance вообще существует. Для устранения подобных аномалий используется нормализация базы данных. Основные понятия в нормализации базы данных Простейшие понятия, используемые в нормализации базы данных: ключи - атрибуты столбцов, которые однозначно (уникально) определяют запись в БД; функциональные зависимости - ограничения между двумя взаимосвязанными атрибутами; нормальные формы - этапы для достижения определенного качества БД. Нормальные формы базы данных Нормализация базы данных выполняется с помощью набора правил. Такие правила называются нормальными формами. Основная цель данных правил - помочь разработчику БД в достижении нужного качества реляционной базы. Все уровни нормализации считаются кумулятивными, или накопительными. Прежде чем перейти к следующему этапу, выполняются все требования к текущей форме. Стадии нормализации: Стадия Аномалии избыточности Ненормализованная (нулевая) форма (UNF) Это состояние перед любой нормализацией. В таблице присутствуют избыточные и сложные значения Первая нормальная форма (1NF) Разбиваются повторяющиеся и сложные значения; все экземпляры становятся атомарными Вторая нормальная форма (2NF) Частичные зависимости разделяются на новые таблицы. Все строки функционально зависимы от первичного ключа Третья нормальная форма (3NF) Транзитивные зависимости разбиваются на новые таблицы. Не ключевые атрибуты зависят от первичного ключа Нормальная форма Бойса-Кода (BCNF) Транзитивные и частичные функциональные зависимости для всех потенциальных ключей разбиваются на новые таблицы Четвертая нормальная форма (4NF) Удаляются многозначные зависимости Пятая нормальная форма (5NF) Удаляются JOIN-зависимости (зависимости соединения) База данных считается нормализованной после достижения третьей нормальной формы. Дальнейшие этапы нормализации усложняю структуру БД и могут нарушить функционал системы. Что такое Ключ? Ключ БД (key) - это атрибут или группа признаков, которые однозначно описывают сущность в таблице. В нормализации используются следующие типы ключей: суперключ (Super Key) - набор признаков, которые уникально определяют каждую запись в таблице; потенциальный ключ (Candidate Key) - выбирается из набора суперключей с минимальным количеством полей; первичный ключ (Primary Key) - самый подходящий кандидат из набора потенциальных ключей; служит первичным ключом таблицы; внешний ключ (Foreign Key) - первичный ключ другой таблицы; составной ключ (Composite Key) - уникальный ключ, образованный двумя и более атрибутами, каждый из которых по отдельности не является ключом. Поскольку таблицы разделяются на несколько более простых единиц, именно ключи определяют точку ссылки для объекта БД. Например, в следующей структуре базы данных: Примерами суперключей являются: employeeID; (employeeID, name); email Все суперключи служат уникальным идентификатором каждой строки. К примеру, имя сотрудника и его возраст не считаются уникальными идентификаторами, поскольку несколько людей могут быть тезками и одногодками. Потенциальные ключи выбираются из набора суперключей с минимальным количеством полей. В нашем примере это: employeeID; email Оба параметра содержат минимальное количество полей, поэтому они хорошо подходят на роль потенциальных ключей. Самый логичный выбор для первичного ключа - поле employeeID, поскольку почта сотрудника может измениться. На такой первичный ключ легко ссылаться в другой таблице, для которой он будет считаться внешним ключом. Функциональные зависимости базы данных Функциональная зависимость БД отражает взаимосвязь между двумя атрибутами таблицы. Функциональные зависимости бывают следующих типов: тривиальная функциональная зависимость - зависимость между атрибутом и группой признаков; исходный элемент является частью группы; нетривиальная функциональная зависимость - зависимость между атрибутом и группой признаков; признак не является частью группы; транзитивная зависимость - функциональная зависимость между тремя атрибутами: второй атрибут зависит от первого, а третий - от второго. Благодаря транзитивности, третий атрибут зависит от первого; многозначная зависимость - зависимость, в которой несколько значений зависят от одного атрибута. Функциональные зависимости - это важный этап в нормализации БД. В долгосрочной перспективе такие зависимости помогают оценить общее качество базы данных. Примеры нормализации базы данных. Как нормализовать базу данных? Общие этапы в нормализации базы данных подходят для всех таблиц. Конкретные методы разделения таблицы, а также вариант прохождения или не прохождения через третью нормальную форму (3NF) зависят от примеров использования. Пример ненормализованной базы данных В одном столбце ненормализованной таблицы содержится несколько значений. В худшем случае в ней присутствует избыточная информация. Например: Добавление, обновление и удаление данных - все это сложные задачи. Выполнение любых изменений текущих данных сопряжено с высоким риском потери информации. Шаг 1: Первая нормальная форма (1NF) Для преобразования таблицы в первую нормальную форму значения полей должны быть атомарными. Все сложные сущности таблицы разделяются на новые строки или столбцы. Чтобы не потерять информацию, для каждого сотрудника дублируются значения столбцов managerID, managerName и area. Доработанная таблица соответствует первой нормальной форме. Шаг 2: Вторая нормальная форма (2NF) Во второй нормальной форме каждая строка таблицы должна зависеть от первичного ключа. Чтобы таблица соответствовала критериям этой формы, ее необходимо разделить на 2 части: Manager (managerID, managerName, area) Employee (employeeID, employeeName, managerID, sectorID, sectorName) Итоговая таблица во второй нормальной форме представляет собой 2 таблицы без частичных зависимостей. Шаг 3: третья нормальная форма (3NF) Третья нормальная форма разделяет любые транзитивные функциональные зависимости. В нашем примере транзитивная зависимость есть у таблицы Employee; она разбивается на 2 новых таблицы: Employee (employeeID, employeeName, managerID, sectorID) Sector (sectorID, sectorName) Теперь таблица соответствует третьей нормальной форме с тремя взаимосвязями. Конечная структура выглядит так: Теперь база данных считается нормализованной. Дальнейшая нормализация зависит от ваших конкретных целей. Заключение В статье рассказывалось, как с помощью нормализации БД можно сократить избыточность информации. В долгосрочной перспективе нормализация БД позволяет свести к минимуму потерю данных и улучшить их общую структуру. Если же вы хотите повысить производительность доступа к данным, то воспользуйтесь денормализацией БД. А если вы испытываете трудности с нормализацией базы данных, то рассмотрите возможность перехода на другой тип БД.
img
На сегодняшний день предприятия генерируют огромные объемы данных. Большую часть из этих данных можно использовать. Наука о данных позволяет компаниям находить закономерности и тенденции, чтобы лучше понимать своих клиентов и обслуживать их соответственно. Но прежде чем данные можно будет анализировать, их для начала необходимо организовать. Перейдем к администраторам базы данных. Администраторы базы данных (DBA - Database Administrator) организуют данные и управляют ими, проектируют и разрабатывают базы данных, архивируют данные и т.д. Также они могут заниматься обслуживанием, устранением неполадок, безопасностью, документацией и обучением. Давайте рассмотрим подробнее каждую из этих обязанностей. Организация и управление данными Как мы уже говорили ранее, администраторы баз данных организуют и подготавливают данные для того, чтобы их могли использовать специалисты по обработке данных, такие как ученые и аналитики данных. Эти специалисты анализируют данные, чтобы найти тенденции и сделать обоснованные прогнозы, которые помогут принять решения компаниям. К сфере деятельности администратора баз данных относятся такие типы данных, как истории покупок, финансовые отчеты и сведения о клиентах. Одним из этапов организации данных является настройка баз данных и обеспечение их эффективной работы. Это часто включает в себя моделирование и создание проекта, который подразумевает сбор пользовательских требований к проектам и то, что требуется для их работы. Администраторы баз данных также помогают обеспечить безопасность данных. Это включает в себя управление доступом к конфиденциальной информации, чтобы ее могли видеть только авторизированные пользователи компании. Обновление баз данных Есть несколько способов обновления базы данных. И это подразумевает не только ввод в него последних данных. Администратор баз данных может обновлять разрешения на доступ к базе данных, чтобы не отставать от кадровых изменений или изменений в обязанностях людей, работающих в компании. Они также могут обновлять языки и системы, используемые в базе данных, проверять наличие обновлений программного обеспечения или писать новый код SQL, чтобы удовлетворять всем потребностям компании. Им также может потребоваться проверить, насколько хорошо функционирует база данных – возможно, требуется совершенно новая система. Или администраторы баз данных могут настроить функции базы данных в соответствии с результатами анализа данных, которые хочет получить компания. Проектирование и разработка Проектирование базы данных может включать в себя такие элементы как: Методы ввода и накопления данных Протоколы данных То, как администрируются права доступа Проверка целостности и точности данных Планы восстановления функционирования Обновления программы Поиск Администратор базы данных должен учитывать потребности пользователей базы данных и на их основе создавать понятные и логичные модели данных. Даже если они не пишут код базы данных самостоятельно, они в любом случае должны знать, как выглядит эффективный код и что он делает. Администратор базы данных должен быть в состоянии поддерживать разработку базы данных, позволяя тем самым поддерживать приложения и инфраструктуру. Архивирование данных Для того, чтобы понять в чем заключается эта роль администратора баз данных, вам необходимо знать, что такое архивирование, его назначение и способы его выполнения. При архивации находятся данные, которые используются неактивно, откладываются в сторону и переносятся из рабочей системы в долговременное хранилище. Если информация потребуется вновь, ее можно извлечь из этого долговременного хранилища. Администраторы баз данных архивируют данные для того, чтобы не тратить активную рабочую емкость впустую, чтобы обеспечить резервное копирование информации и обеспечить более эффективное функционирование. И последнее, но не менее важное: администраторы баз данных обеспечивают максимальное использование облачных ресурсов, а значит, ценная инфраструктура и системы управления данными используются только для текущих активных действий, а не тратятся на устаревшие и ненужные данные. Техническое обслуживание и устранение неполадок Техническое обслуживание базы данных включает в себя выполнение периодических тестов и внесение изменений с целью убедиться, что база данных работает корректно и в полной мере. Для того, чтобы выполнять обязанности по техническому обслуживанию, администраторы баз данных должны знать и понимать системы управления баз данных, которые имеют непростую структуру. Администраторы баз данных должны понимать, на что необходимо обращать внимание как в программном обеспечении, так и в аппаратном оборудовании для того, чтобы устранить неполадки, а при обнаружении проблемы, они должны знать, как ее исправить. Техническое обслуживание баз данных включает в себя и несколько обычных задач, таких как: Регулярное резервное копирование Контроль операционных элементов, таких как откат транзакций, дисковое пространство и нарушение системных ограничений Предотвращение прерывания приложений Администраторы баз данных также должны иметь практические знания языка программирования языка SQL. Это позволяет им решать проблемы, исправляя ошибки в самом коде SQL. Безопасность Администраторы баз данных защищают целостность и безопасность информации компаний. Здесь могут подразумеваться элементы кибербезопасности, когда доступ к базам данных осуществляется удаленно или через Интернет. Еще одной проблемой безопасности для администраторов баз данных является конфиденциальность данных. Вот некоторые из задач администратора баз данных, связанных с безопасностью: Предупреждение, обнаружение и исправление проблем Обучение коллег аспектам безопасности данных Внедрение упреждающих мер на каждом уровне компании Плановое взаимодействие с руководством Быть в курсе технологических достижений, связанных с функциями безопасности Документация Разумеется, члены команды из других отделов мало что могут сделать с базой данных, если у них нет руководства, как ее использовать. Администраторы баз данных создают документацию по базе данных для того, чтобы конечные пользователи знали, как и что работает. Документация по базе данных описывает базу данных, содержащиеся в ней данные, способы ее использования, ее источники и поддерживаемые приложения. Также она содержит такую информацию, как: Как идентифицируются авторизированные пользователи Как можно получить доступ к базе данных Как при необходимости перезапустить или восстановить базу данных Обучение Документация – это обязательное условие этого этапа работы, которую выполняют администраторы баз данных. Последние помогают обучать своих коллег тому, что им необходимо для работы с базами данных. Документация или руководства по базам данных являются справочными материалами для создания учебных курсов. Члены группы администраторов баз данных должны быть обучены, чтобы понимать концепции базы данных, то, как получить доступ к базе данных, способы ввода данных, процесс выполнения запросов в базе данных и создания отчетов из базы данных. Администраторы баз данных подгоняют учебные программы под потребности и обязанности слушателей курсов. Администраторам баз данных также может потребоваться документировать то, что люди прошли обучение и поняли все то, что им необходимо знать. Администраторы баз данных: специалисты с широким спектром обязанностей Как вы уже, наверное, поняли, у администраторов баз данных много хлопот. Они не только проектируют, создают и поддерживают базы данных, но также занимаются и второстепенными вопросами, которые включают в себя работу с коллегами, конечными пользователями и руководством с целью убедиться в том, что они знают все, что им необходимо для работы с базой данных. Именно поэтому зарплаты администраторов баз данных такие привлекательные.
img
Когда читаете данную статью, браузер подключается к провайдеру (или ISP) а пакеты, отправленные с компьютера, находят путь до сервера, на котором размещен этот веб-сайт. BGP (Border Gateway Protocol, протокол граничного шлюза) решает, по какому пути следует идти пакетам. Если маршрутизатор не работает или слишком нагружен, пакеты проходят по другому маршруту. BGP по умолчанию принимает объявленные маршруты от других соседей BGP. Нет объявления о пути или владельце, что оставляет серьезную проблему безопасности. В этой статье описывается протокол RPKI, как решение для безопасной маршрутизации BGP. Что такое BGP? Протокол BGP – основной протокол, который используется для обмена маршрутами в Интернете. Пакеты передаются по всему миру децентрализованным образом с автоматизированной маршрутизацией. По мере передачи данных с одного маршрутизатора на другой информация перемещается ближе к пункту назначения. Каждый маршрутизатор поддерживает локальную таблицу наилучших путей для каждой группы префиксов IP-адресов. AS (Autonomous System - автономная система) владеет группами префиксов и определяет, как происходит обмен маршрутизацией. Каждая AS имеет уникальный идентификатор (Number), и протокол BGP определяет, как автономные системы обмениваются информацией о маршрутах. Каждый ASN (Autonomous System Number) объявляет префиксы, по которым он может доставлять данные. Например, AS отвечающая за подсеть 1.0.0.0/8, будет передавать этот префикс соседям и другим провайдерам. Недостатки BGP Прием маршрута BGP зависит от проектирования ISP. Сложно принять во внимание все сценарии: ошибки ввода, ошибки автоматизации или злой умысел - это лишь некоторые примеры проблем, которые трудно предотвратить. В конечном счете, суть проблемы заключается в том, что нет никакого видения того, кто должен объявлять маршрут или кто настоящий владелец. Угоны префиксов равной длины Угон префикса равной длины происходит, когда тот, кто не является владельцем, объявляет об этом же префиксе. Например: Исходная AS отправляет данные, предназначенные для 1.0.0.0/8 AS назначения объявляет 1.0.0.0/8 Другая AS также объявляет 1.0.0.0/8 В случае объявления равной длины BGP должен выбрать маршрут. Решение сводится к конфигурации AS. Источник AS замечает небольшое падение трафика. Падение трафика является обычным явлением, которое может произойти по любому числу причин. За счет этого угон BGP остается незамеченным. Угон определенного префикса Захват определенного префикса происходит, когда злонамеренный ASN объявляет более конкретный префикс. Оба префикса добавляются в таблицу маршрутизации BGP, но более конкретный адрес выбирается в качестве наилучшего пути к сети. Например: Источник отправляет данные, предназначенные для 1.0.0.0/8 AS назначения объявляет 1.0.0.0/8 Другая AS объявляет более конкретный 1.2.3.0/24 Поскольку 1.2.3.0/24 лучше соответствует, все данные в диапазоне 1.2.3.0 поступают в нелегитимную сеть. Что такое RPKI? RPKI (Resource Public Key Infrastructure) - уровень безопасности в протоколе BGP, обеспечивающий полное криптографическое доверие владельцу, где последний имеет общедоступный идентификатор. В BGP понятия владельца не существует. Любому разрешается анонсировать лучший маршрут, будь то злонамеренно или случайно. RPKI основан на существующем стандарте PKI - RFC6480. Существует много ссылок на существующие методологии криптографии для безопасной связи. Почему RPKI важен? Инфраструктура открытого ключа ресурсов делает BGP более безопасным и надежным. Из-за особенностей работы BGP, уязвимость интернета является систематической проблемой. С ростом Интернета последствия заметнее. Маршрутизация информации в небольшую сеть создает перегрузку. Вредоносная маршрутизация доставляет конфиденциальную информацию не туда. Ошибки BGP могут привести к мошенничеству и крупномасштабным сбоям. Известны следующие случаи: Amazon - маршрут 53 BGP угнал DNS Amazon для кражи криптовалют. Google - неправильная настройка фильтрации BGP во время обновления маршрутизировал весь трафик в Китай, Россию и Нигерию. Mastercard, Visa и крупные банки - произошла утечка 36 префиксов платежных услуг. YouTube - Попытка заблокировать сайт YouTube в Пакистане в итоге положила его. Какую форму защиты предлагает RPKI? Проблемы BGP возникают по многочисленным причинам: Нет надежного плана обеспечения безопасности Ошибки перераспределения Опечатки Преступное намерение Наиболее распространенным фактором является человеческая ошибка. Криптографическая модель RPKI обеспечивает аутентификацию владельца через открытый ключ и инфраструктуру сертификатов без наличия в них идентифицирующей информации. Сертификаты добавляют уровень сетевой безопасности к префиксам IPv4 и IPv6. Сертификаты RPKI продлеваются каждый год. HTTP использует аналогичное шифрование для защиты веб-страниц. Хотя весь путь не защищен, RPKI проверяет идентичность источника и предоставляет способ подтвердить, что они являются теми, кем они являются. RPKI является шагом в обеспечении безопасности в маршрутизации BGP, где мы знаем происхождение входящей информации и кто владеет каким пространством. Широкое распространение делает его еще более эффективным в предотвращении угонов в целом. Как работает RPKI? RIR (Regional Internet Registry) обеспечивает корневое доверие в модели криптографии RPKI. IANA (Internet Assigned Numbers Authority) является частью ICANN (Internet Corporation for Assigned Names and Numbers), которая владеет адресными пространствами IPv4 и IPv6. IANA распределяет порции IP пространства для RIR. Локальные RIR затем распределяют пространство IP для сетей, которые далее распределяют для сетей меньшего размера. Этот путь создает доверенную цепочку в сертификатах подписи. Регионы RIR делятся на пять географических районов: ROA Заключительной частью цепочки является ROA (Route Origin Authorization - авторизация источника маршрута). ROA представляет собой простой документ с двумя частями информации: Какой маршрут и максимальная длина. AS, объявившая маршрут. Например, если AS65005 объявляет маршрут в диапазоне от 1.0.0.0/8 до 1.0.0.0/12, ROA содержит область и идентификатор AS65005, проверяя, кто является реальным владельцем информации с полным доверием. Каждая ROA специфична для каждого из существующих RIR. Как развертывается RPKI? "P" в RPKI означает, что сертификаты и ROA доступны в публичных (public) хранилищах. Эта информация используется для формирования списков префиксов, которые относятся к конкретному ASN. Подписи сертификатов и срок действия ROA проверяются каждой сетью независимо. Если какой-либо из следующих ошибок завершается неуспешно, ROA игнорируется: Дата начала или дата окончания ROA и привязки сертификатов к корню находятся в прошлом или будущем. Любая из подписей недействительна или отозвана. Все ROA, которые прошли тест сохраняются в списке проверенных. Фильтр генерируется и выгружается на маршрутизаторы на основе проверенного списка кэша. Маршрутизаторы проверяют объявления BGP через фильтр и получает один из трех результатов: Действительное - ROA присутствует. Длина префикса и номер AS совпадают. Недопустимое - присутствует ROA. Длина префикса или номер AS не совпадают. Не найдено или неизвестно - ROA отсутствует. Маршрутизатор действует на основе состояния префикса, сгенерированного фильтром. Подпись префиксов RIR предлагают онлайн-инструменты для подписи префиксов. При этом префикс и длина префикса связываются с AS. После подписания префикса другие пользователи, реализовавшие проверку RPKI, могут проверить префиксы. Подписание сертификата предотвращает захват префиксов (намеренно или непреднамеренно). Подписанные сертификаты являются ядром ROA. RPKI не предлагает проверки пути, и атаки «человек в середине» по-прежнему возможны. Проверка префиксов Реализация проверки зависит от сведений о сети. Общие шаги при настройке сети для проверки префиксов: Установка средств проверки RPKI - программное обеспечение, которое извлекает данные RPKI из всех реестров маршрутизации Интернет (IRR) и проверяет подписи. Настройка проверки на пограничных маршрутизаторах с помощью средства проверки маршрута - маршрутизаторы заполняют кэш проверки комбинациями проверенных префиксов, длин префиксов и исходных ASN. Реализация фильтров BGP для внешних сеансов BGP - добавление политики для всех сеансов BGP (одноранговых, транзитных и клиентов) для отклонения любого префикса, который является недопустимым с точки зрения RPKI. Заключение RPKI предлагает дополнительный уровень в защите BGP маршрутизации. Большинство маршрутизаторов имеют встроенные возможности проверки и развертывания RPKI.
ВЕСЕННИЕ СКИДКИ
40%
50%
60%
До конца акции: 30 дней 24 : 59 : 59