Что такое управление данными?

Практика управления данными включает сбор и распространение высококачественных данных, а также управление данными для контроля доступа к данным.

Управление данными включает политики и процедуры, которые организация внедряет для управления безопасностью, целостностью и ответственной утилитой обработки данных. Он определяет стратегию управления данными и определяет, кто к каким данным может получить доступ. Политики управления данными также устанавливают подотчетность в том, как команды и отдельные лица получают доступ к данным и используют их. Функции управления данными обычно включают в себя:

Профилирование данных

Профилирование данных — это диагностический процесс анализа данных для определения их структуры, качества и характеристик. Это первый шаг к пониманию существующего набора данных, позволяющему решить, нуждается ли он в рефакторинге перед использованием.

Родословная данных

Родословная данных отслеживает потоки данных в организации. Родословная данных с отметками времени используется для определения того, откуда был получен фрагмент данных, как он был использован и когда был преобразован. Этот процесс управления данными особенно важен в процессах аудита.

Каталог данных

Каталоги данных представляют собой набор информационных ресурсов организации и связанных с ними метаданных. Сохраняя всю информацию, связанную с данными, в центральном каталоге, он становится основным реестром данных в организации. Пользователи могут ожидать, что каталог данных будет содержать самую свежую информацию по всем активам данных.

Безопасность данных и контроль доступа к ним

Управление данными предотвращает несанкционированный доступ к данным и защищает их от повреждения. Это включает в себя все аспекты защиты, такие как:

• Предотвращение случайного перемещения или удаления данных
• Защита доступа к сети для снижения риска сетевых атак
• Проверка соответствия физических центров обработки данных, в которых хранятся данные, требованиям безопасности
• Обеспечение безопасности данных, даже когда сотрудники получают к ним доступ с личных устройств
• Аутентификация пользователей, авторизация, а также настройка и применение разрешений на доступ к данным
• Обеспечение соответствия хранимых данных законам страны, в которой они хранятся
• Добавление дополнительных уровней управления конфиденциальными данными

Соответствие требованиям данных

Политики соблюдения требований к данным снижают риск штрафов или мер со стороны регулирующих органов. Соблюдение законов о соответствии требованиям, таких как GDPR и CCPA, имеет важное значение для операционной деятельности.

Деятельность по обеспечению соответствия нормативным требованиям сосредоточена на моделировании данных, управлении программным обеспечением и обучении сотрудников, чтобы обеспечить соблюдение законов на всех уровнях. Например, организация сотрудничает с внешней командой разработчиков для улучшения своих систем данных. Менеджеры по управлению данными проверяют, что все личные данные удалены, прежде чем передавать их внешней команде для использования в целях тестирования.

Управление жизненным циклом данных

Управление жизненным циклом данных — это процесс управления данными на протяжении всего их жизненного цикла. 

Например:

• Данные необходимо проверять при приеме внутрь и через регулярные промежутки времени
• Для целей аудита данные должны храниться в течение определенных периодов времени.
• Данные должны быть удалены, когда они больше не нужны

Управление качеством данных

Пользователи данных ожидают, что данные будут достаточно надежными и последовательными для каждого сценария использования.

Менеджеры по качеству данных измеряют и улучшают качество данных организации. Они проверяют как существующие, так и новые данные и проверяют их соответствие стандартам. Они также могут настроить процессы управления данными, которые блокируют попадание некачественных данных в систему. Как правило, по стандартам качества данных измеряется указанное ниже.

• Отсутствует ли ключевая информация или данные полны? (например, клиент не указывает ключевую контактную информацию)
• Соответствуют ли данные основным правилам проверки данных? (Например, номер телефона должен состоять из определенного количества цифр)
• Как часто одни и те же данные появляются в системе? (Например, дубликаты записей данных одного и того же клиента.)
• Точны ли данные? (например, клиент ввел неправильный адрес электронной почты)
• Одинаково ли качество данных во всей системе? (Например, дата рождения имеет формат дд/мм/гггг в одном наборе данных, а формат мм/дд/гггг в другом наборе данных.)

Интеграция данных

Конечные точки для распространения данных

В большинстве организаций данные должны распространяться на различные конечные точки (или рядом с ними), где эти данные необходимы. К ним относятся операционные системы, озера данных и хранилища данных. Распределение данных необходимо из-за задержек в сети. Когда данные необходимы для оперативного использования, пропускной способности сети может быть недостаточно для их своевременной доставки. Хранение копии данных в локальной базе данных решает проблему пропускной способности сети.

Распределение данных также необходимо для консолидации данных. Хранилища данных и озера данных объединяют данные из различных источников для представления консолидированного представления информации. Хранилища данных используются для аналитики и принятия решений, в то время как озера данных представляют собой консолидированный центр, из которого можно извлекать данные для различных сценариев использования.

Механизмы репликации данных и влияние на согласованность

Механизмы распространения данных потенциально влияют на согласованность данных, и это важный фактор при управлении данными.

Синхронная репликация данных обеспечивает высокую согласованность. При таком подходе при изменении значения данных все приложения и пользователи увидят измененное значение данных. Если новое значение данных еще не реплицировано, доступ к данным блокируется до тех пор, пока все копии не будут обновлены. Синхронная репликация ставит согласованность выше производительности и доступа к данным. Синхронная репликация чаще всего используется для финансовых данных.

Конечная согласованность возникает в результате асинхронной репликации данных. При изменении данных копии в конечном итоге обновляются (обычно в течение нескольких секунд), но доступ к устаревшим копиям не блокируется. Во многих случаях это не проблема. Например, публикации в социальных сетях, лайки и комментарии не требуют высокой согласованности. Другой пример: если клиент меняет свой номер телефона в одном приложении, это изменение может быть каскадно асинхронно.

Сравнение стриминга и пакетных обновлений

Потоки данных каскадируют изменения данных по мере их возникновения. Этот подход предпочтительнее, если требуется доступ к данным, близким к реальному времени. Данные извлекаются, преобразуются и доставляются в место назначения сразу после их изменения.

Пакетные обновления более подходят, когда данные необходимо обрабатывать партиями перед доставкой. Примером этого является суммирование или выполнение статистического анализа данных и предоставление только результата. Пакетные обновления также могут сохранить внутреннюю согласованность данных на определенный момент времени, если все данные извлекаются в определенный момент времени. Пакетные обновления с помощью процесса извлечения, преобразования, загрузки (ETL или ELT) обычно используются для работы с озерами данных, хранения данных и аналитики.

Управление основными данными

Управление основными данными (MDM) означает процесс управления важными бизнес-данными. Согласованность данных и синхронизация данных очень важны для MDM.

Примеры основных данных включают данные о клиентах, партнерах и продуктах. Эти фундаментальные данные в основном постоянны и нечасто меняются. Примеры используемых данных включают программное обеспечение для управления взаимоотношениями с клиентами (CRM) и планирования ресурсов предприятия (ERP).

Управление основными данными необходимо для обеспечения их точности во всех системах, включая синхронизацию и интеграцию данных при обновлениях.

Лучшие практики управления данными составляют основу успешной стратегии управления данными. Ниже приведены общие принципы управления данными, которые помогут вам создать прочную основу данных.

Совместная работа

Бизнес-пользователи и технические команды должны сотрудничать, чтобы обеспечить выполнение требований организации к данным. Вся обработка и анализ данных должны отдавать приоритет требованиям бизнес-аналитики. В противном случае собранные данные останутся неиспользованными, а ресурсы будут потрачены впустую на плохо спланированные проекты управления данными.

Автоматизация

Успешная стратегия управления данными включает автоматизацию большинства задач обработки и подготовки данных. Выполнение задач по преобразованию данных вручную утомительно, а также приводит к ошибкам в системе. Даже ограниченное количество задач, выполняемых вручную, таких как еженедельное выполнение пакетных заданий, может вызвать сбои в системе. Программное обеспечение для управления данными может поддерживать более быстрое и эффективное масштабирование.

Облачные вычисления

Компаниям требуются современные решения для управления данными, предоставляющие им широкий набор возможностей. Облачное решение позволяет управлять всеми аспектами управления данными в нужном масштабе без ущерба для производительности. Например, AWS предлагает широкий спектр функций, таких как базы данных, озера данных, аналитика, доступность данных, управление данными и безопасность, из одного аккаунта.