Quản lý dữ liệu là gì?

Thực hành quản lý dữ liệu bao gồm việc thu thập và phân phối dữ liệu chất lượng cao, ngoài việc quản trị dữ liệu, để kiểm soát truy cập dữ liệu.

Quản trị dữ liệu bao gồm các chính sách và quy trình mà một tổ chức thực hiện để quản lý bảo mật dữ liệu, tính toàn vẹn và việc sử dụng dữ liệu có trách nhiệm. Trong đó xác định chiến lược quản lý dữ liệu và xác định ai có thể truy cập vào dữ liệu nào. Các chính sách quản trị dữ liệu cũng thiết lập trách nhiệm giải trình trong việc các nhóm và cá nhân truy cập và sử dụng dữ liệu ra sao. Các chức năng quản trị dữ liệu thường bao gồm:

Lập hồ sơ dữ liệu

Lập hồ sơ dữ liệu là quá trình chẩn đoán phân tích dữ liệu để xác định cấu trúc, chất lượng và đặc điểm của nó. Đây là bước đầu tiên để hiểu một tập dữ liệu hiện có, để quyết định xem nó có cần tái cấu trúc trước khi sử dụng hay không.

Dòng dữ liệu

Dòng dữ liệu theo dõi luồng dữ liệu trong một tổ chức. Dòng dữ liệu được đánh dấu thời gian được sử dụng để xác định một phần dữ liệu bắt nguồn từ đâu, nó đã được sử dụng như thế nào và khi nào nó đã được chuyển đổi. Quá trình quản lý dữ liệu này đặc biệt quan trọng trong quá trình kiểm toán.

Danh mục dữ liệu

Danh mục dữ liệu là một tập hợp các tài sản dữ liệu của tổ chức và siêu dữ liệu liên quan. Bằng cách lưu trữ tất cả thông tin liên quan đến dữ liệu trong một danh mục trung tâm, nó trở thành sổ đăng ký dữ liệu chính trong tổ chức. Người dùng có thể mong đợi danh mục dữ liệu chứa thông tin cập nhật nhất về tất cả các tài sản dữ liệu.

Bảo mật dữ liệu và kiểm soát truy cập

Quản trị dữ liệu ngăn chặn tình trạng truy cập trái phép dữ liệu và bảo vệ dữ liệu khỏi bị hỏng. Điều này bao gồm tất cả các khía cạnh của bảo vệ, ví dụ như những nội dung sau đây:

• Phòng ngừa việc vô tình di chuyển hoặc xóa dữ liệu
• Bảo mật truy cập mạng để giảm rủi ro mạng bị tấn công
• Xác minh các trung tâm dữ liệu vật lý lưu trữ dữ liệu có đáp ứng các yêu cầu bảo mật không
• Đảm bảo an toàn dữ liệu ngay cả khi nhân viên truy cập dữ liệu từ các thiết bị cá nhân
• Xác thực người dùng, ủy quyền cũng như thiết lập và thực thi quyền truy cập dữ liệu
• Đảm bảo rằng dữ liệu được lưu trữ tuân thủ pháp luật quốc gia nơi dữ liệu được lưu trữ
• Thêm các lớp điều khiển bổ sung cho dữ liệu nhạy cảm

Tuân thủ dữ liệu

Các chính sách tuân thủ dữ liệu làm giảm nguy cơ bị phạt hoặc hành động theo quy định. Đáp ứng các luật tuân thủ như GDPR và CCPA là điều cần thiết cho các hoạt động.

Các hoạt động tuân thủ tập trung vào mô hình hóa dữ liệu, kiểm soát phần mềm và đào tạo nhân viên để việc tuân thủ luật pháp xảy ra ở tất cả các cấp. Ví dụ: một tổ chức hợp tác với một nhóm phát triển bên ngoài để cải thiện hệ thống dữ liệu của mình. Các nhà quản lý quản trị dữ liệu xác minh rằng tất cả dữ liệu cá nhân bị xóa trước khi chuyển cho nhóm bên ngoài để phục vụ mục đích kiểm tra.

Quản lý vòng đời dữ liệu

Quản lý vòng đời dữ liệu đề cập đến quá trình quản lý dữ liệu trong suốt vòng đời của nó. 

Ví dụ:

• Dữ liệu phải được xác minh khi ăn vào và định kỳ
• Dữ liệu phải được lưu giữ trong khoảng thời gian cụ thể cho mục đích kiểm toán
• Dữ liệu phải được xóa khi không còn cần thiết

Quản lý chất lượng dữ liệu

Người dùng dữ liệu mong muốn dữ liệu có đủ độ tin cậy và tính nhất quán đối với từng trường hợp sử dụng.

Các nhà quản lý chất lượng dữ liệu đo lường và cải thiện chất lượng dữ liệu của tổ chức. Họ đánh giá và xác minh khả năng đáp ứng các tiêu chuẩn của cả dữ liệu hiện có lẫn dữ liệu mới. Họ cũng có thể thiết lập các quy trình quản lý dữ liệu giúp chặn dữ liệu chất lượng thấp xâm nhập vào hệ thống. Tiêu chuẩn chất lượng dữ liệu thường đo lường những yếu tố sau:

• Thông tin chính bị thiếu hay dữ liệu đã đầy đủ? (ví dụ: khách hàng bỏ qua thông tin liên hệ chính)
• Dữ liệu có đáp ứng các quy tắc kiểm tra dữ liệu cơ bản không? (Ví dụ: số điện thoại phải là một số chữ số nhất định)
• Dữ liệu giống nhau xuất hiện trong hệ thống với tần suất như thế nào? (ví dụ: các mục nhập dữ liệu trùng lặp của cùng một khách hàng)
• Dữ liệu có chính xác không? (ví dụ: khách hàng nhập sai địa chỉ email)
• Chất lượng dữ liệu có nhất quán trên toàn hệ thống không? (ví dụ: ngày sinh ở định dạng dd/mm/yyyy trong một tập dữ liệu nhưng lại ở định dạng mm/dd/yyyy trong một tập dữ liệu khác)

Tích hợp dữ liệu

Điểm cuối cho phân bổ dữ liệu

Đối với hầu hết các tổ chức, dữ liệu phải được phân bổ đến (hoặc gần) các điểm cuối cần dữ liệu khác nhau. Chúng bao gồm các hệ thống hoạt động, hồ dữ liệu và kho dữ liệu. Phân bổ dữ liệu là điều cần thiết do có độ trễ mạng. Khi cần dữ liệu để vận hành, độ trễ mạng có thể sẽ không đủ để phân phối dữ liệu kịp thời. Lưu trữ bản sao dữ liệu trong cơ sở dữ liệu cục bộ giúp giải quyết vấn đề về độ trễ mạng.

Quá trình phân bổ dữ liệu cũng rất cần thiết trong việc hợp nhất dữ liệu. Kho dữ liệu và hồ dữ liệu hợp nhất dữ liệu từ nhiều nguồn khác nhau để cho ra một chế độ xem thông tin thống nhất. Kho dữ liệu được dùng để phân tích và ra quyết định, trong khi hồ dữ liệu lại là trung tâm hợp nhất cho phép trích xuất dữ liệu cho nhiều trường hợp sử dụng khác nhau.

Cơ chế sao chép dữ liệu và khả năng tác động đến tính nhất quán

Cơ chế phân bổ dữ liệu có tác động tiềm ẩn đến tính nhất quán của dữ liệu và đây là một yếu tố quan trọng cần xem xét trong việc quản lý dữ liệu.

Việc sao chép dữ liệu đồng bộ sẽ tạo tính nhất quán cao. Trong lối tiếp cận này, khi một giá trị dữ liệu thay đổi, tất cả các ứng dụng và người dùng sẽ thấy được giá trị dữ liệu đã thay đổi. Nếu giá trị mới của dữ liệu chưa được sao chép, quyền truy cập vào dữ liệu sẽ bị chặn cho đến khi tất cả các bản sao được cập nhật. Sao chép đồng bộ ưu tiên tính nhất quán hơn hiệu suất và quyền truy cập dữ liệu. Sao chép đồng bộ thường được sử dụng cho dữ liệu tài chính.

Việc sao chép dữ liệu không đồng bộ sẽ tạo tính nhất quán sau cùng. Khi thay đổi dữ liệu, các bản sao cũng sẽ được cập nhật sau đó (thường trong vòng vài giây), tuy nhiên bạn vẫn có thể truy cập vào các bản sao cũ. Đây không phải là vấn đề đối với nhiều trường hợp sử dụng. Ví dụ: các bài đăng, lượt thích và bình luận trên mạng xã hội không yêu cầu tính nhất quán cao. Một ví dụ khác là nếu khách hàng thay đổi số điện thoại của họ trong một ứng dụng, sự thay đổi này có thể được phân tầng không đồng bộ.

So sánh phân luồng với cập nhật hàng loạt

Luồng dữ liệu phân tầng những thay đổi trong dữ liệu khi xảy ra thay đổi. Đây là cách tiếp cận ưa thích nếu cần truy cập vào dữ liệu gần thời gian thực. Ngay sau khi thay đổi dữ liệu, dữ liệu đó sẽ được trích xuất, chuyển đổi và phân phối tới điểm đích.

Cập nhật hàng loạt sẽ phù hợp hơn khi dữ liệu cần được xử lý hàng loạt trước khi phân phối. Quá trình tóm tắt hoặc phân tích thống kê dữ liệu và chỉ cung cấp kết quả là một ví dụ cho hoạt động này. Cập nhật hàng loạt cũng có thể bảo toàn tính nhất quán nội bộ tại thời điểm trước đó của dữ liệu nếu toàn bộ dữ liệu được trích xuất tại một thời điểm cụ thể. Cập nhật hàng loạt thông qua quy trình trích xuất, chuyển đổi và tải (ETL hoặc ELT) thường được dùng cho hồ dữ liệu, kho dữ liệu và hoạt động phân tích.

Quản lý dữ liệu tổng thể

Quản lý dữ liệu tổng thể (MDM) đề cập đến quá trình quản lý dữ liệu kinh doanh thiết yếu. Tính nhất quán dữ liệu và đồng bộ hóa dữ liệu đều có liên quan cao đến MDM.

Ví dụ về dữ liệu chính bao gồm dữ liệu khách hàng, dữ liệu đối tác và dữ liệu sản phẩm. Những dữ liệu cơ bản này chủ yếu là dai dẳng và không thay đổi thường xuyên. Ví dụ về dữ liệu này được sử dụng bao gồm phần mềm Quản lý quan hệ khách hàng (CRM) và Kế hoạch tài nguyên doanh nghiệp (ERP).

Quản lý dữ liệu chính là điều cần thiết để đảm bảo độ chính xác của nó trên các hệ thống, bao gồm đồng bộ hóa và tích hợp dữ liệu trên các bản cập nhật.

Các phương pháp quản lý dữ liệu tốt nhất tạo thành cơ sở của một chiến lược dữ liệu thành công. Sau đây là các nguyên tắc quản lý dữ liệu phổ biến để giúp bạn xây dựng nền tảng dữ liệu mạnh mẽ.

Cộng tác nhóm

Người dùng doanh nghiệp và nhóm kỹ thuật phải cộng tác với nhau để đảm bảo đáp ứng các yêu cầu về dữ liệu của một tổ chức. Tất cả hoạt động xử lý và phân tích dữ liệu cần ưu tiên các yêu cầu về nghiệp vụ thông minh. Nếu không, dữ liệu đã thu thập vẫn sẽ không được sử dụng, các nguồn lực sẽ bị lãng phí trong các dự án quản lý dữ liệu được lên kế hoạch kém hiệu quả.

Tự động hóa

Một chiến lược quản lý dữ liệu thành công kết hợp tự động hóa trong hầu hết các tác vụ xử lý và chuẩn bị dữ liệu. Thực hiện các tác vụ chuyển đổi dữ liệu theo cách thủ công rất tẻ nhạt và cũng gây ra lỗi trong hệ thống. Ngay cả với số lượng hạn chế các tác vụ thủ công, chẳng hạn như chạy các công việc hàng tuần, cũng có thể gây ra các trở ngại trên hệ thống. Phần mềm quản lý dữ liệu có thể hỗ trợ mở rộng nhanh hơn và hiệu quả hơn.

Điện toán đám mây

Các doanh nghiệp đòi hỏi các giải pháp quản lý dữ liệu hiện đại mang đến cho họ nhiều năng lực đa dạng. Một giải pháp đám mây có thể quản lý tất cả các khía cạnh của quản lý dữ liệu trên quy mô lớn mà không ảnh hưởng đến hiệu suất. Ví dụ: AWS cung cấp một loạt các chức năng, chẳng hạn như cơ sở dữ liệu, hồ dữ liệu, phân tích, khả năng truy cập dữ liệu, quản trị dữ liệu và bảo mật, từ một tài khoản duy nhất.