什麼是資料移轉?
資料移轉是將資料從一個運算環境或儲存系統移動到另一個儲存系統或運算環境的過程。組織收集和存放資料以進行分析。由於技術變更或是因為他們想要將作業移轉至雲端,他們不得不在系統之間移動資料以進行整合式視覺化。資料移轉的目的是高效且快速地移動資料,並且避免中斷業務營運。它包括規劃網路資源、資料安全,以及時間和傳輸方法等考量。資料移轉還可能涉及缺少資料值或變更資料類型的儲存架構考量。
為什麼資料移轉很重要?
組織資料駐留於實體儲存體、內部部署伺服器或虛擬伺服器、單一機器和不同的應用程式。資料也以許多不同的格式和類型存放。有必要進行資料移轉以提高資料的可用性,同時提升資料管理和儲存效率。雲端資料移轉為組織帶來許多新的優勢。
實作現代應用程式架構
將資料移至雲端可打下在雲端部署應用程式的基礎。您可以將舊式系統現代化,並將其重新建置為運用微型服務、容器化、無伺服器和其他現代設計的雲端原生應用程式。應用程式現代化可提升敏捷性並加速創新。
降低儲存成本
移轉至雲端可協助組織消除維護內部部署基礎設施產生的高昂成本。藉助雲端存儲,您僅需按實際用量付費,並可以根據需求向上擴展或縮減。對於資料封存或備份和復原等使用案例,它也具有高成本效益。
提高資料安全性
雲端包括加密、存取控制、日誌記錄、監控和自動事件回應等功能。組織僅需設定雲端安全控制,並且可以避免設定整個網路基礎設施和安全軟體,否則這些是為符合資料法規而必須執行的操作。您也可以根據需要將敏感資料儲存在特定地理區域中。
增強分析
雲端資料倉儲可讓您將多個來源的資料整合到集中的環境中。您可以快速設定現代使用案例所需的資料品質檢查和即時資料擷取。您還可以取得 AI/ML 服務的原生存取權限,並可以快速將智慧新增至分析中。
資料移轉有哪些類型?
資料從一個來源系統移轉至另一個目標系統。這些系統的架構和資料移動背後的原因決定了資料移轉專案的類型。
儲存移轉
儲存移轉涉及在資料儲存系統之間傳輸資料,以此提高效能、可擴展性或經濟效益。典型範例是將檔案從內部部署 NTFS 式檔案伺服器移至 Amazon S3 等雲端儲存解決方案。儲存移轉通常是雲端採用的第一步,因為它可讓組織將大量文件、媒體檔案、備份和日誌移至雲端,而無需重新處理現有應用程式。主要優勢包括:
- 減少硬體維護
- 更輕鬆地從任何位置存取資料
- 透過內建的雲端複寫和版本控制功能來改善冗餘。
資料庫移轉
資料庫移轉是指在資料庫系統之間傳輸資料。它涉及從內部部署資料庫移至雲端式解決方案。例如,公司可能會將其 SQL Server 資料庫從內部資料中心移轉至 Amazon RDS 等雲端關聯式資料庫服務。此程序通常包括目標環境中的資料轉換、複寫和效能調整。
資料庫移轉的主要驅動因素是可靠性和成本降低。雲端資料庫提供自動備份、高可用性以及獨立擴展運算和儲存的能力。
應用程式移轉
應用程式移轉涉及將整個軟體應用程式及其相關聯資料從內部部署資料中心移至雲端。良好的範例是將舊式 ERP 資料庫軟體移轉至相同應用程式的雲端版本或新的 SaaS 平台。此程序可能需要進行平台轉換甚至重新建置應用程式,以利用雲端原生功能。
應用程式移轉的優勢包括更好的效能、更輕鬆的更新以及與其他雲端服務的整合。組織可以透過增強的速度和可用性來將其技術堆疊現代化並改善使用者體驗。
業務程序移轉
業務程序移轉會將支援業務功能的營運活動和工作流程轉移至雲端。例如,公司可能會將其客戶服務營運從手動程序和內部部署 CRM 工具組合轉移到雲端式 CRM 解決方案。這通常需要移轉基於核心業務功能的資料、邏輯和整合點。
這種移轉背後的動機通常是策略性的 — 企業尋求更高的靈活性、更快的決策和更理想的客戶體驗。透過在雲端環境中託管這些程序,公司可以更有效地存取即時資料並自動化任務。
資料移轉有哪些策略?
接下來,我們介紹一些可用於資料移轉的策略。
直接移轉
隨即轉移是移轉資料最簡單的方法。您以相同的格式保存資料,而無需進行任何轉換,只需傳輸資料並將其存放在另一個位置即可。雖然這是一種有效的策略,但對於雲端移轉來說可能不太實用。以相同格式存放資料,通常對有效利用雲端儲存優勢沒有幫助。
使用既有的工具
許多資料移轉軟體工具可協助組織成功完成移轉作業。這些廠商和開放原始碼工具可從管理角度來協助企業完成資料移轉。
例如,AWS DataSync 是一項 Amazon Web Services (AWS) 服務。它可協助組織將其內部部署共用的檔案系統、物件儲存或 Hadoop 叢集傳輸至 AWS 雲端儲存解決方案。
一次性或分階段移動
根據資料的不同,您可以一次移動所有資料或分階段移動資料。例如,您可以在數週的夜間分割大量資料,並執行區塊資料移轉。雖然一次移轉所有資料是最簡單且最快速的方式,但有時候根本不可能。
尋求專家協助
對於複雜的移轉,尋求外部專家的幫助是明智的舉措。對於將資料成功移轉至 AWS,您可以選擇與我們的其中一個 AWS 合作夥伴聯繫。
資料移轉前需要考量哪些因素?
資料移轉解決方案需要規劃每一個細節。以下是一些需要考量的因素。
線上或離線資料移轉
即使是使用現代聯網解決方案,移轉相當數量的資料也可能非常耗時且耗費大量資源。對某些組織來說,透過運送實體儲存裝置來移動資料可能會更有效率和經濟高效。這種策略也比在更廣泛的網際網路上傳送資料更安全。
資料格式
將相同格式的資料從一個位置移轉至另一個通常很簡單。例如,將資料庫從現場 SQL Server 移轉至以雲端為基礎的 SQL Server 不需要變更格式或結構描述。但是,如果您需要在資料中心移轉之前將資料轉換為新格式,則需要中間處理步驟。
操作中斷
在移轉過程中,系統停機或速度變慢是常見的情況。您可以排程在非高峰時段移轉,以將影響降至最低。許多組織推遲了資料移轉,因為他們無法承受任何系統停機。但是,這種方法可能會增加未來的中斷。
資料移轉有哪些步驟?
每個組織都會根據其要求,以自訂方式來規劃資料移轉。我們概要介紹您可以遵循的步驟,以使整個資料移轉程序更有效率。
檢閱來源資料
在資料移轉之前,您必須檢閱並描述現有資料。首先,查看資料儲存格式及其目前的環境。在此之後,如果適用,請在檢視器中審查資料,以確定其結構和屬性。您將需要將結構映射至新的資料系統。
確定目的地
審查來源資料後,根據來源資料的結構和屬性選擇合適的目的地資料儲存解決方案。有時,您必須變更資料的結構、屬性或格式,以符合新的資料儲存解決方案。在資料整合的情況下,您將需要重新整理來源資料,以符合目的地資料的規範。
概述資料移轉策略
定義資料移轉的需求和目的地後,您需要進行規劃來執行資料移轉。資料移轉計畫是成功移轉的藍圖。
若要了解資料移轉程序的運作方式,您應確定以下事項:
- 您需要的系統和資料移轉工具
- 安全需求
- 任何資料轉換程序
- 成本和人力資源需求
- 資料移轉程序的大致時間表
資料移轉策略還應確定資料移轉對使用者的潛在影響。這包括建立作業應急計畫,或建立一系列通訊,以提醒使用者計畫內中斷情況。
落實技術方面
在執行資料移轉程序之前,您必須設定目的地環境,包括安全性和許可。如果可行,建立資料移轉管道做為程式碼,以提供自動化、可重複使用的解決方案。您可以將程式碼用於未來的類似移轉,或保存其記錄用於該程序記錄在案的證明。程式碼化的管道可做為有效的資料移轉計畫。
測試解決方案
測試對於降低與資料移轉過程關聯的風險至關重要。測試的類型取決於資料和解決方案。例如,您可以選擇要測試的較小區塊資料、虛擬資料,甚至是即時系統資料的副本。針對資料整合,請確保新的測試資料與現有資料相符。
執行資料移轉
成功完成測試後,您可以排程並執行資料移轉。若要在發生非預期事件時進行故障診斷,請確保有適當的團隊在整個過程中都能提供服務,即使非工作時間執行也是如此。
資料移轉之後,請審查新環境中的即時資料,以檢查是否正確,並確保系統如預期運作。新系統在指定時間內上線並按預期執行後,您就可以安全地解除委任舊環境。
資料移轉有哪些最佳實務?
以下是一些讓資料移轉程序更高效和更具成本效益的建議。
明確概述商業案例
業務案例必須清楚且有保證,資料移轉專案才能成功。例如,考慮使用者已經在現有商業資料庫上執行查詢的情況。該組織已經購買新的資料分析解決方案,但到目前為止只有三人接受了培訓,並將在一年內推出培訓。如果組織在完成培訓之前嘗試移轉資料庫,則可能會面臨不利的業務結果。
仔細評估解決方案空間
新的資料解決方案可能需要更多的決策因素,而不是一般的比較性採購決策。例如,當組織將應用程式移轉至雲端時,他們可能想要考量在隨即轉移之前將其架構容器化。容器化將最大限度地發揮雲端基礎設施的優勢。這兩種不同策略的目標解決方案也完全不同。
清理資料
雖然並非總是必要,但在移轉之前清除資料可能是一項很好的實務。這包括重複資料刪除、移除不完整的資料,以及移除不正確的資料等任務。
完整記錄該程序
記錄資料移轉專案可支援收購、兼併和法規遵循活動等案例的稽核報告。它還有助於擷取學到的內部經驗教訓和組織知識。
資料移轉有哪些挑戰?
鑑於組織設定過程中資料的重要性,資料移轉非常複雜,並且需要仔細進行風險評估。接下來,我們會介紹一些常見的挑戰。
業務持續性
資料移轉應在服務中斷儘可能少的情況下進行。如果無法避免停機或速度變慢,請在正常工作時間以外規劃移轉作業。透過電子郵件、應用程式內通知和固定的社交媒體張貼等通路,向使用者發出大量警告。
移轉成本
工具、人力資源、新的資料基礎設施和解除委任舊資料基礎設施的成本,都會在傳輸資料時累計。在開始該程序之前,請確保針對所有方面做出預算。在應用程式停機期間,因生產力或營收損失而導致的任何成本因素也很重要。若要將移轉影響成本降至最低,請嘗試限制中斷,並確保所有受影響的使用者事先了解移轉情況。
資料安全
需要仔細規劃在傳輸期間和新環境中確保資料安全。您應在傳輸之前執行複雜的加密,並針對傳輸過程建立虛擬私有網路。在移轉之前,充分測試和評估新環境的安全規則和許可。
新的系統失敗和故障
確保在所有情況下成功移轉資料極具挑戰性。有時,傳輸資料可能會失敗或產生非預期的結果。在發生故障和失敗的情況下,您需要一個應變計畫。始終備份,以便在需要時可回復到舊的資料系統。
AWS 如何協助滿足您的資料移轉要求?
Amazon Web Services (AWS) 提供廣泛的解決方案,協助您進行雲端資料移轉。我們協助您找到並確保符合您需求的適當服務和資源,以及協助執行程序本身。
例如,您可以使用以下資料移轉服務:
- AWS DataSync,透過端對端安全性、簡化的規劃和資料移動管理,安全地探索資料並移轉至 AWS。
- AWS Direct Connect,建立與 AWS 的專用網路連線。這樣,您就可以使用多種加密選項,讓資料在您的網路和 AWS 之間移動時確保安全。
- Amazon Data Firehose,串流資料。您可以穩定地將即時串流載入資料湖、資料倉儲和分析服務中。
- AWS Snowcone,可用於部署邊緣運算裝置。Snowcone 裝置小巧、堅固且安全。它們可在出行時提供邊緣運算、資料儲存和實體資料傳輸。在很少或沒有連線能力的嚴峻環境中,它們是不錯的選擇。
- AWS Transfer Family,可輕鬆管理檔案傳輸。您還可以使用 Amazon Simple Storage Service (Amazon S3) 或 Amazon Elastic File System (Amazon EFS) 來現代化傳輸工作流程。您使用現有的驗證系統在數小時即可完成此操作。
立即建立帳戶,開始使用 AWS 上的資料移轉。