Что такое управление данными?

Управление данными – это процесс сбора, хранения, защиты и использования данных организации. Организации используют свои данные для поддержки операционных процессов, таких как обработка транзакций и взаимодействие с клиентами. Им также необходимо интегрировать свои данные для бизнес-аналитики, аналитики, искусственного интеллекта и принятия решений в реальном времени. Управление данными включает в себя все политики, инструменты и процедуры, повышающие удобство использования данных в рамках законов и нормативных актов.

Данные – это ценный ресурс для современных организаций. Имея доступ к большим объемам и различным типам данных, организации вкладывают значительные средства в инфраструктуру хранения данных и управления ими. Организации используют системы управления данными для автоматизации операционных бизнес-процессов, а также анализа данных для принятия деловых решений. Ниже представлено еще несколько конкретных преимуществ управления данными.

Операционная эффективность

Системы управления данными помогают организациям эффективно обрабатывать большие объемы транзакций и операционных данных. Они обеспечивают точный и последовательный учет транзакций, сводя к минимуму ошибки в финансовой отчетности, обновлениях запасов, счетах клиентов и других операционных рабочих процессах. Помимо обработки транзакций, эти системы могут автоматизировать рутинные бизнес-операции и обеспечивать надежное ведение учета, гарантируя согласованность, необходимую для осуществления деятельности в реальном времени. Благодаря этим преимуществам в области эффективности системы управления данными помогают организациям обеспечивать бесперебойное обслуживание клиентов, сохранять доверие и поддерживать эффективность и масштабируемость повседневных процессов.

Увеличение дохода и прибыли

Анализ данных позволяет глубже понять все аспекты бизнеса. На основе этих данных можно оптимизировать бизнес-операции и составлять аналитические выводы для принятия более обоснованных решений в целях увеличения доходов и сокращения расходов. Анализ данных также позволяет прогнозировать будущие последствия решений, улучшая процесс принятия решений и бизнес-планирования. Таким образом, организации получают значительный рост доходов и прибыли за счет совершенствования методов управления данными.

Уменьшение несогласованности данных

Несогласованность данных при обработке транзакций может приводить к таким ошибкам, как дублирование записей, неверные остатки на счетах и расхождения в запасах, что мешает деятельности, подрывает доверие клиентов и увеличивает затраты на исправление ситуации. Несогласованность в аналитике данных может быть вызвана разрозненностью данных.

Разрозненные данные – это набор необработанных данных в организации, к которому имеет доступ только один отдел или группа. Разрозненность данных приводит к несогласованности, которая снижает надежность результатов анализа данных. Решения по управлению данными объединяют данные и создают централизованное представление данных для улучшения принятия решений и совместной работы между отделами.

Соответствие нормативным требованиям

Такие законы, как Общий регламент по защите данных (GDPR) и Закон Калифорнии о защите персональных данных потребителей (CCPA), предназначены для защиты данных клиентов. Эти законы о защите данных включают требования, предусматривающие следующее:

• согласие на сбор данных;
• строгий контроль над размещением и использованием данных;
• безопасное хранение и удаление данных по запросу.

Следовательно, организациям нужна точная и конфиденциальная система управления данными, которая поможет защитить данные и при этом сохранить их точность.

Архитектура данных и моделирование данных – основа успешной стратегии управления данными.

Архитектура данных

Архитектура данных – это всеобъемлющая структура, которая описывает и регулирует сбор, использование данных и управление ими в организации. План управления данными включает технические подробности, например сведения об оперативных базах данных, озерах данных, хранилищах данных и серверах, которые лучше всего подходят для реализации стратегии управления данными.

Моделирование данных

Моделирование данных – это процесс создания концептуальных и логических моделей данных, визуализирующих рабочие процессы и взаимосвязи между различными типами данных. Моделирование данных обычно начинается с концептуального представления данных, а затем их повторного представления в контексте выбранных технологий. На этапе проектирования данных специалисты по данным создают несколько различных типов моделей данных.

Практика управления данными охватывает сбор и распространение высококачественных данных в дополнение к управлению данными для контроля доступа к данным.

Управление данными включает политики и процедуры, которые организация внедряет для управления безопасностью, целостностью и ответственным использованием данных. Оно определяет стратегию управления данными и то, кто к каким данным может получить доступ. Политики управления данными также устанавливают подотчетность в том, как команды и отдельные лица получают доступ к данным и используют их. Типичные функции управления данными приведены ниже.

Профилирование данных

Профилирование данных – это диагностический процесс анализа данных для определения их структуры, качества и характеристик. Это первый шаг к пониманию существующего набора данных, позволяющий принять решение о целесообразности его рефакторинга.

Происхождение данных

Функция происхождения данных позволяет отслеживать потоки данных в организации. Сведения о происхождении данных с метками времени используются для определения того, откуда и как был получен фрагмент данных, а также когда и как он был преобразован. Эта функция управления данными особенно важна в процессах аудита.

Каталог данных

Каталоги данных представляют собой набор информационных активов организации и связанных с ними метаданных. В центральном каталоге хранится вся информация, связанная с данными, поэтому он представляет собой основной реестр данных в организации. Пользователи могут рассчитывать на то, что каталог данных будет содержать самые актуальные сведения обо всех информационных активах.

Безопасность данных и контроль доступа к ним

Управление данными помогает предотвратить несанкционированный доступ к данным и защитить их от повреждения. Безопасность данных и контроль доступа к ним охватывают все аспекты защиты данных, перечисленные ниже.

• Предотвращение случайного перемещения или удаления данных
• Защита доступа к сети для снижения риска сетевых атак
• Проверка соответствия физических центров обработки данных, в которых хранятся данные, требованиям безопасности
• Обеспечение безопасности данных, даже когда сотрудники получают к ним доступ с личных устройств
• Аутентификация пользователей, авторизация, а также настройка и применение разрешений на доступ к данным
• Помощь в обеспечении соответствия хранящихся данных законам страны, в которой они хранятся
• Добавление дополнительных уровней управления конфиденциальными данными

Соответствие требованиям к данным

Политики соответствие требованиям к данным снижают риск штрафов или исков со стороны регулирующих органов. Соблюдение законов о соответствии требованиям, таких как GDPR и CCPA, крайне важно для осуществления деятельности.

Мероприятия по обеспечению соответствия требованиям направлены на моделирование данных, внедрение средств управления программным обеспечением и обучение сотрудников и гарантируют соблюдение законов на всех уровнях. Например, организация сотрудничает с внешней командой разработчиков для улучшения своих систем данных. Прежде чем передавать данные внешней команде для тестирования, менеджеры по управлению данными проверяют, что все персональные данные удалены.

Управление жизненным циклом данных

Управление жизненным циклом данных – это процесс управления данными на протяжении всего их жизненного цикла. 

Например:

• данные необходимо проверять при получении и через регулярные промежутки времени;
• данные необходимо хранить в течение определенных периодов времени для целей аудита;
• данные необходимо удалять, когда они больше не нужны.

Управление качеством данных

Пользователи данных ожидают, что данные будут достаточно надежными и согласованными для каждого примера использования.

Менеджеры по качеству данных измеряют и улучшают качество данных организации. Они проверяют как существующие, так и новые данные и проверяют их соответствие стандартам. Они также могут настроить процессы управления данными, которые блокируют попадание некачественных данных в систему. Как правило, по стандартам качества данных измеряется указанное ниже.

• Отсутствует ли ключевая информация или данные полные? (Например, клиент упускает ключевую контактную информацию.)
• Соответствуют ли данные основным правилам проверки данных? (Например, номер телефона должен состоять из определенного количества цифр.)
• Как часто одни и те же данные появляются в системе? (Например, дубликаты записей данных одного и того же клиента.)
• Точны ли данные? (Например, клиент ввел неправильный адрес электронной почты.)
• Одинаково ли качество данных во всей системе? (Например, в одном наборе данных дата рождения имеет формат дд.мм.гггг, а в другом – мм.дд.гггг.)

Распределение данных

Адреса для распределения данных

В большинстве организаций данные должны распределяться между различными адресами (или рядом с ними), где эти данные необходимы. К ним относятся операционные системы, озера данных и хранилища данных. Распределение данных необходимо из-за задержек в сети. Когда данные необходимы для оперативного использования, пропускной способности сети может быть недостаточно для их быстрой доставки. Хранение копии данных в локальной базе данных решает проблему пропускной способности сети.

Распределение данных также необходимо для консолидации данных. Хранилища данных и озера данных получают данные из различных источников и создают консолидированное представление информации. Хранилища данных используют для аналитики и принятия решений, а озера данных служат консолидированным центром, из которого можно извлекать данные для различных примеров использования. Кроме того, озера данных все чаще поддерживают аналитику непосредственно хранящихся в них данных.

Механизмы репликации данных и влияние на согласованность

Механизмы распределения данных потенциально влияют на согласованность данных, и это важный фактор при управлении данными.

Синхронная репликация данных обеспечивает высокую согласованность. При таком подходе при изменении значения данных все приложения и пользователи видят измененное значение данных. Если новое значение данных еще не реплицировано, доступ к данным блокируется до тех пор, пока не будут обновлены все копии. Синхронная репликация ставит согласованность выше производительности и доступа к данным. Синхронная репликация часто используется для финансовых данных.

Согласованность в конечном счете возникает в результате асинхронной репликации данных. При изменении данных копии в конечном итоге обновляются (обычно в течение нескольких секунд), но доступ к устаревшим копиям не блокируется. Во многих случаях это не проблема. Например, публикации в социальных сетях, лайки и комментарии не требуют высокой согласованности. Другой пример: если клиент меняет свой номер телефона в одном приложении, это изменение может быть каскадировано асинхронно.

Сравнение стриминга и пакетных обновлений

Потоки данных каскадируют изменения данных по мере их возникновения. Это предпочтительный подход, если требуется доступ к данным почти в реальном времени. Данные извлекаются, преобразуются и доставляются в место назначения сразу после их изменения.

Пакетные обновления более подходят, когда данные необходимо обрабатывать партиями перед доставкой. Примером этого является суммирование или выполнение статистического анализа данных и предоставление только результата. Пакетные обновления также могут сохранить внутреннюю согласованность данных на определенный момент времени, если все данные извлекаются в определенный момент времени. Пакетные обновления с помощью процесса извлечения, преобразования и загрузки (ETL или ELT) обычно используются для озер данных, организации хранилищ данных и аналитики.

Управление основными данными

Управление основными данными – это процесс управления согласованностью и синхронизацией важных бизнес-данных. Примеры основных данных включают данные о клиентах, партнерах и продуктах. Эти фундаментальные данные в основном постоянны и меняются нечасто. К примерах таких используемых данных относятся данные системы управления взаимоотношениями с клиентами (CRM) и системы планирования ресурсов предприятия (ERP).

Для обеспечения точности основных данных во всех системах, в том числе синхронизации и интеграции при обновлениях, крайне важно управлять этими данными.

Большие данные – это большой объем данных, которые организация собирает с высокой скоростью за короткий промежуток времени. Ленты видеоновостей в социальных сетях и потоки данных с интеллектуальных датчиков являются примерами больших данных. Масштаб, разнообразность и сложность операций создают проблемы в управлении большими данными. Например, система больших данных хранит такие данные, как:

• структурированные данные, которые хорошо представлены в табличном формате;
• неструктурированные данные, такие как документы, изображения и видео;
• полуструктурированные данные, сочетающие два предыдущих типа.

Инструменты управления большими данными должны обрабатывать и готовить данные для аналитики. Инструменты и методы, необходимые для больших данных, обычно выполняют следующие функции: интеграция данных, хранение и анализ данных.

Управление облачными данными (CDM) – это управление корпоративными данными в облаке в местах хранения, при обработке и в движении. К управлению данными в облаке применимы многие из классических методов управления данными.

Поскольку облачные среды отличаются от стандартных локальных сред, способ обработки данных в них немного другой. Для выполнения требований в области управления данными облачное хранение, облачные вычисления и облачные сети сочетают с современными сервисами управления облачными данными.

Облачное хранение

Поставщики облачных услуг предлагают хранение данных в различных продуктах и сервисах, таких как операционные базы данных, озера данных и облачные хранилища данных. Эти решения для хранения данных оптимизированы для облака, работают на облачных инстансах и предлагают виртуализированные конфигурации хранения, которые подходят для любого примера использования. Инстансы для облачного хранения необходимо настраивать в соответствии со стандартами данных.

Облачные вычисления

Инстансы для облачных вычислений предназначены для обработки хранящихся облачных данных. Эти инстансы для вычислений также предлагают множество различных конфигураций. Каждая из них предназначена для рабочих нагрузок, которые немного отличаются между собой: обработка транзакций, автоматизация процессов, бизнес-аналитика, аналитика, машинное обучение, искусственный интеллект и т. п. Инстансы для облачных вычислений необходимо настраивать в соответствии с внутренними правилами в отношении управления облачными данными.

Облачные сети

Облачные сетевые решения, такие как виртуальные частные облака (VPC) и виртуальные частные сети (VPN), предлагают программные сети. Облачные сети обеспечивают изоляцию путем сегментирования ресурсов и гарантируют, что рабочие нагрузки надежно отделены друг от друга и лучше защищены от несанкционированного доступа. Для управления данными в движении по этим сетям необходимо использовать сочетание средств управления продуктами и продуктов сетевой безопасности.

Инструменты управления облачными данными

Каждый поставщик облачных услуг предлагает разные решения для управления облачными данными в среде. Эти средства управления данными могут включать:

• сервисы унификации данных, такие как озера данных и хранилища данных;
• сервисы защиты данных, такие как сервисы управления соответствием требованиям;
• сервисы по обеспечению качества данных для проверки достоверности и высокого качества данных;
• решения по инвентаризации данных для идентификации конфиденциальных данных с помощью искусственного интеллекта и машинного обучения.

Каждое облачное решение для управления данными призвано дополнить сервисы хранения, обработки и передачи фундаментальных данных, которые предлагаются в облаке.

Модель общей ответственности

Ответственность за безопасность и соответствие требованиям несут совместно поставщик облачных услуг и клиент. В AWS это называют моделью общей ответственности. 

Эта модель общей ответственности помогает снизить операционную нагрузку на клиента, поскольку поставщик облачных услуг берет на себя вопросы эксплуатации, контроля компонентов, а также управления ими на уровнях от виртуализации и операционной системы хоста до физической безопасности объектов, где работает сервис. Поставщики услуг по управлению облачными данными и клиенты должны понимать свои обязательства по управлению данными и обеспечению безопасности в соответствии с моделью.

Например, поставщики облачных услуг должны принимать меры для защиты базовой инфраструктуры, которая поддерживает облачные инстансы клиентов. Поставщики облачных услуг устанавливают исправления для аппаратного обеспечения и гарантируют его надлежащую работу. После этого клиенты должны поддерживать актуальность операционной системы, установленной на инстансе.

У клиентов должны быть надлежащие репликации инстансов в разных зонах и резервные копии данных. Это способствует обеспечению согласованности данных и позволяет извлекать их при возникновении событий, требующих аварийного восстановления.

Ниже перечислены распространенные проблемы управления данными.

Масштабирование и производительность

Организациям требуется программное обеспечение для управления данными, которое эффективно работает в требуемом масштабе. Им приходится постоянно отслеживать и перенастраивать инфраструктуру управления данными, чтобы поддерживать пиковое время отклика при экспоненциальном росте данных. Как вариант, им необходимо использовать бессерверное программное обеспечение для управления данными, которое автоматически регулирует емкость с учетом изменений объема данных и рабочих нагрузок.

Изменение требований

Нормативные требования сложны и со временем меняются. Точно так же быстро меняются требования клиентов и бизнес-потребности. Хотя организации имеют больший выбор платформ управления данными, которые они могут использовать, им приходится постоянно оценивать инфраструктурные решения для поддержания максимальной гибкости ИТ, соответствия законодательству и снижения затрат.

Обучение сотрудников

Запуск процесса управления данными в любой организации может быть непростой задачей. Объем данных может быть огромным, а также может наблюдаться разрозненность данных между отделами. Планирование новой стратегии управления данными и привлечение сотрудников к использованию новых систем и процессов требует времени и усилий.

Передовые практики управления данными – основа успешной стратегии в отношении данных. Ниже приведены распространенные принципы управления данными, которые помогут создать надежную архитектуру данных.

Совместная работа

Бизнес-пользователи и технические команды должны сотрудничать, чтобы помочь обеспечить выполнение требований организации к данным.

Автоматизация

Успешная стратегия управления данными включает автоматизацию большинства задач обработки и подготовки данных. Выполнение задач преобразования данных вручную утомительно, а также приводит к ошибкам в системе. Даже ограниченное количество задач, выполняемых вручную, таких как еженедельное выполнение пакетных заданий, может вызвать сбои в системе. Программное обеспечение для управления данными может поддерживать более быстрое и эффективное масштабирование.

Облачные вычисления

Компаниям требуются современные решения для управления данными, предоставляющие им широкий набор возможностей. Облачное решение может контролировать все аспекты управления данными в требуемом масштабе без ущерба для производительности. Например, AWS предлагает широкий спектр функций, таких как базы данных, озера данных, аналитика, доступность данных, управление данными и безопасность, из одного аккаунта.

AWS – это глобальная платформа управления данными, которую можно использовать для построения современной стратегии управления облачными данными. Базы данных AWS представляют собой высокопроизводительную, безопасную и надежную основу для создания решений на базе генеративного искусственного интеллекта и приложений, ориентированных на данные, которые приносят пользу бизнесу и клиентам. Высокопроизводительные базы данных AWS поддерживают любую рабочую нагрузку или пример использования. К ним относятся реляционные базы данных с пропускной способностью в 3–5 раз выше, чем у альтернативных вариантов, специализированные базы данных с задержкой в микросекунды и встроенные векторные базы данных, которые обеспечивают высочайшую пропускную способность и максимальную скорость отклика.

AWS предлагает бессерверные варианты, устраняющие необходимость управления емкостью за счет мгновенного масштабирования по требованию. Базы данных AWS обеспечивают непревзойденный уровень безопасности благодаря шифрованию данных в местах хранения и в движении, изоляции сети, аутентификации, устранению аномалий, а также строгому соблюдению стандартов соответствия. Они отличаются высокой надежностью, поскольку данные автоматически реплицируются в нескольких зонах доступности в регионе AWS. Полностью управляемые базы данных AWS не требуют выполнения однообразных трудоемких задач по администрированию благодаря более чем 15 движкам баз данных, оптимизированным для модели данных приложения.

AWS предлагает полный набор возможностей для любой аналитической рабочей нагрузки. AWS обеспечивает непревзойденное соотношение цены, производительности и масштабируемости благодаря встроенному управлению – от обработки данных и аналитики SQL до потоковой передачи, поиска и бизнес-аналитики. Выбирайте специализированные сервисы, оптимизированные для конкретных рабочих нагрузок, или рационализируйте рабочие процессы обработки данных и искусственного интеллекта и управляйте ими с помощью Amazon SageMaker. Независимо от того, начинаете ли вы работу с данными или ищете интегрированный интерфейс, AWS предоставляет вам необходимые аналитические возможности, которые помогут переосмыслить бизнес с помощью данных.

Ниже представлены несколько сервисов, которые могут помочь в создании современной облачной инфраструктуры данных.

Amazon DataZone – это сервис управления данными, посредством которого клиенты могут быстро и легко каталогизировать, обнаруживать, совместно использовать и контролировать данные, хранящиеся в AWS, локальной среде и сторонних источниках.

AWS Glue – бессерверный сервис, с помощью которого можно легко, быстро и экономично интегрировать данные. У вас есть возможность обнаруживать более 100 различных источников данных и подключаться к ним, управлять данными в централизованном каталоге, а также визуально создавать, запускать и отслеживать конвейеры данных для загрузки информации в озера данных, хранилища данных и хранилища в озерах данных.

Amazon Simple Storage Service (Amazon S3) – это сервис хранения объектов, предлагающий лучшие в отрасли показатели производительности, масштабируемости, доступности и безопасности данных. Миллионы клиентов разных масштабов и отраслей могут виртуально хранить необходимый объем данных, управлять им, анализировать и защищать его для практически любого примера использования. Например, для озер данных, приложений, оптимизированных для облака, и мобильных приложений.

AWS Lake Formation позволяет централизованно управлять данными, защищать их и обмениваться ими для аналитики и машинного обучения. AWS Lake Formation может помочь централизованно управлять высокоточными разрешениями на доступ к данным и масштабировать это управление, а также безопасно обмениваться данными внутри организации и за ее пределами.

Amazon Relational Database Service (Amazon RDS) – это простой в управлении сервис реляционных баз данных, оптимизированный с учетом совокупной стоимости владения.

Amazon Virtual Private Cloud (Amazon VPC) – это сервис, который помогает определять и запускать ресурсы AWS в логически изолированной виртуальной сети.

Начните разрабатывать решение для управления облачными данными в AWS, создав бесплатный аккаунт AWS уже сегодня.