什麼是資料管理？

資料管理的實踐涵蓋高品質資料的收集和分發，除了資料治理外，以控制資料存取。

資料管控包括組織為管理資料安全性、完整性和負責任的資料公用程式而實作的政策和程序。它定義資料管理策略並確定誰可以存取哪些資料。資料管控政策還確立了團隊和個人存取及使用資料時的責任。資料管控功能通常包括：

資料分析

資料分析是分析資料的診斷過程，以確定其結構、品質和特性。這是了解現有數據集的第一步，以決定它在使用之前是否需要重構。

資料系列

資料系統追蹤整個組織之間的資料流程。時間戳記資料系列用於判斷資料的來源、使用方式以及何時轉換。此資料管理程序在稽核流程中特別重要。

資料型錄

資料目錄是組織的資料資產和相關中繼資料的集合。將所有資料相關資訊儲存在中央目錄中，它會成為組織內的主要資料登錄。使用者可以期望資料目錄包含所有資料資產的最新資訊。

資料安全和存取控制

資料管控可防止未經授權的資料存取，並保護資料免於損毀。它包括所有方面的保護，如下所示：

• 防止意外移動或刪除資料
• 保護網路存取以降低網路攻擊的風險
• 確認儲存資料的實體資料中心符合安全要求
• 即使員工從個人裝置存取資料，也能確保資料安全
• 使用者驗證、授權，以及資料存取許可的設定與執行
• 確保儲存的資料符合儲存資料所在國家/地區的法律
• 為敏感資料新增額外的控制層

資料合規性

資料合規政策可降低監管罰款或行動的風險。遵守 GDPR 和 CCPA 等合規法對營運至關重要。

合規活動專注於資料建模、軟體控制和員工培訓，以便在所有層面都能遵守法律。例如，組織與外部開發團隊合作以改善其資料系統。在將所有個人資料傳送給外部團隊以用於測試目的之前，資料管控管理者會確認是否已移除這些資料。

資料生命週期管理

資料生命週期管理是指在整個生命週期中管理資料的過程。 

例如：

• 數據必須在攝入時並定期驗證
• 資料必須保存在特定時間，以作審核目的
• 不再需要時，必須刪除數據

資料品質管理

資料的使用者希望資料在每個使用案例中具有足夠的可靠性和一致性。

資料品質管理者可衡量並改善組織的資料品質。他們會檢閱現有資料和新資料，並確認其符合標準。他們也可能會設定資料管理程序，以阻止低品質資料進入系統。資料品質標準通常衡量以下內容：

• 關鍵信息是否缺少，還是數據完整？（例如，客戶忽略了關鍵聯繫信息）
• 資料是否符合基本資料檢查規則？ （例如，電話號碼應該是一定數字）
• 相同資料多久出現在系統中？(例如，同一客戶的重複資料項)
• 資料準確嗎？（例如，客戶輸入錯誤的電子郵件地址）
• 整個系統的資料品質是否一致？(例如，出生日期在一個資料集中為 dd/mm/yyyy 格式，但在另一個資料集中為 mm/dd/yyyy 格式)

資料整合

資料分佈的端點

對於大多數組織而言，資料必須分佈到 (或附近) 需要該資料的各個端點。這些包括作業系統、資料湖和資料倉儲。由於網路延遲，資料分佈是必要的。當操作使用需要資料時，網路延遲可能不足以及時傳送資料。將資料副本儲存在本機資料庫中，可解決網路延遲問題。

資料分佈對於資料合併也是必要的。資料倉儲和資料湖可合併來自各種來源的資料，以呈現合併後的資訊。資料倉儲用於分析和決策，而資料湖則是一個綜合中樞，可從中擷取資料用於各種使用案例。

資料複寫機制及對一致性的影響

資料分佈機制對資料一致性有潛在影響，這是資料管理中的一個重要考量。

同步複寫資料帶來強大的一致性。在這種方法中，當資料值發生變更時，所有應用程式和使用者都會看到變更後的資料值。如果尚未複製資料的新值，則會封鎖對資料的存取，直到更新所有副本為止。同步複寫使一致性優先於效能和資料存取。同步複寫最常用於財務資料。

非同步資料複寫產生的最終一致性。資料變更時，最終會更新副本 (通常在幾秒鐘內)，但不會阻止對過期副本的存取。對於許多使用案例，這不是問題。例如，社交媒體帖子、喜歡和評論不需要強大的一致性。另一個範例是，如果客戶在一個應用程式中變更其電話號碼，則此變更可以非同步串聯。

比較串流與批次更新

資料串流會在資料變更時進行串聯。如果需要訪問近乎即時數據，這是首選的方法。資料變更後，就會擷取、轉換並傳送至其目的地。

如果必須在交付之前分批處理資料，則批次更新更適合。總結或執行資料的統計分析並僅提供結果就是這樣一個範例。如果在特定時間點擷取所有資料，則批次更新也可以保留資料的時間點內部一致性。透過擷取、轉換、載入 (ETL 或 ELT) 程序進行批次更新通常用於資料湖、資料倉儲和分析。

主資料管理

主資料管理 (MDM) 指管理基本業務資料的過程。資料一致性和資料同步都與 MDM 相關。

主資料的範例包括客戶資料、合作夥伴資料和產品資料。這些基本數據主要是持久的，並且不經常更改。使用中的資料範例包括客戶關係管理 (CRM) 和企業資源規劃 (ERP) 軟體。

主資料管理對於確保其跨系統的準確性至關重要，包括同步處理和更新時的資料整合。

資料管理最佳做法是成功資料策略的基礎。以下是一般資料管理原則，可協助您建立強大的資料基礎。

團隊合作

企業使用者和技術團隊必須協同合作，以確保滿足組織的資料需求。所有資料處理和分析應優先考慮商業智慧需求。否則，收集的資料將保持未使用狀態，資源將浪費在規劃不當的資料管理專案中。

自動化

成功的資料管理策略將自動化整合到了大多數資料處理和準備任務中。手動執行數據轉換任務很繁瑣，也會導致系統中的錯誤。即使手動任務有限 (例如執行每週的批次作業) 也可能造成系統瓶頸。資料管理軟體可以支援更快且更有效率的擴展。

雲端運算

企業需要可提供廣泛功能的現代化資料管理解決方案。雲端解決方案可以大規模管理資料管理的所有方面，而不會影響效能。例如，AWS 可在單一帳戶內提供各種功能，例如資料庫、資料湖、分析、資料可存取性、資料管控和安全性。