การบูรณาการ ETL แบบไร้รอยต่อของ Amazon Aurora เข้ากับ Amazon Redshift
เปิดใช้การวิเคราะห์และ ML ข้อมูลธุรกรรมระดับเพตะไบต์ในแบบเกือบเรียลไทม์
เหตุใดการบูรณาการ ETL แบบไร้รอยต่อระหว่าง Amazon Aurora กับ Amazon Redshift จึงสำคัญ
ประโยชน์
เข้าถึงข้อมูลธุรกรรมจาก Aurora ใน Amazon Redshift ภายในไม่กี่วินาทีเพื่อเรียกใช้การวิเคราะห์และ ML ได้เกือบเรียลไทม์บนข้อมูลระดับเพตะไบต์
วิเคราะห์ข้อมูลธุรกรรมของคุณอย่างรวดเร็วได้เกือบเรียลไทม์โดยไม่ต้องสร้างและจัดการไปป์ไลน์ ETL เพื่อย้ายข้อมูลธุรกรรมไปยังระบบวิเคราะห์
รวมตารางมากมายจากคลัสเตอร์ฐานข้อมูล Aurora และจำลองข้อมูลของคุณไปยังคลังข้อมูล Amazon Redshift แห่งเดียวเพื่อเรียกใช้การวิเคราะห์แบบรวมศูนย์ในแอปพลิเคชันและแหล่งที่มาของข้อมูลต่าง ๆ
เรียกใช้การวิเคราะห์ข้อมูลธุรกรรมได้แบบเกือบเรียลไทม์โดยไม่ต้องจัดการโครงสร้างพื้นฐานใด ๆ เมื่อใช้ทั้ง Amazon Aurora Serverless v2 และ Amazon Redshift แบบไม่ต้องใช้เซิร์ฟเวอร์
กรณีการใช้งาน
ใช้การวิเคราะห์ของ Amazon Redshift และความสามารถ ML เพื่อรับข้อมูลเชิงลึกได้แบบเกือบเรียลไทม์จากข้อมูลธุรกรรมและข้อมูลอื่น ๆ เพื่อตอบสนองต่อเหตุการณ์ที่สำคัญและมีข้อจำกัดด้านเวลาได้อย่างมีประสิทธิภาพ การวิเคราะห์แบบเกือบเรียลไทม์ช่วยให้คุณได้รับข้อมูลเชิงลึกที่แม่นยำและทันเวลามากขึ้นสำหรับกรณีการใช้งาน เช่น การกำหนดเป้าหมายเนื้อหา ประสบการณ์การเล่นเกมที่ปรับให้ดียิ่งขึ้น การตรวจสอบคุณภาพข้อมูล การตรวจจับการฉ้อโกง และการวิเคราะห์พฤติกรรมลูกค้า
ด้วยการบูรณาการ ETL แบบไร้รอยต่อระหว่าง Amazon Aurora กับ Amazon Redshift คุณจึงสามารถใช้ความสามารถของ Amazon Redshift เพื่อวิเคราะห์ข้อมูลธุรกรรมของคุณในระดับเพตะไบต์ที่รวมมาจากคลัสเตอร์ฐานข้อมูล Aurora หลายคลัสเตอร์ คุณสามารถใช้ประโยชน์จากความสามารถในการวิเคราะห์ที่ครอบคลุมของ Amazon Redshift เช่น ML ในตัว มุมมองผลการสืบค้น การแชร์ข้อมูล และการเข้าถึงแบบรวมศูนย์ไปยังพื้นที่จัดเก็บข้อมูลและ Data Lake หลายแห่ง Amazon Redshift ML ช่วยให้คุณสามารถเรียกใช้การคาดการณ์นับพันล้านรายการด้วยคำสั่ง SQL ที่ตรงไปตรงมาพร้อมการผสานรวมแบบเนทีฟเข้ากับ Amazon SageMaker
การย้ายข้อมูลจากฐานข้อมูลธุรกรรมไปยังคลังข้อมูลกลางมักต้องมีการสร้าง การจัดการ และการใช้งานโซลูชัน ETL ไปป์ไลน์ข้อมูลที่ซับซ้อน การบูรณาการ ETL แบบไร้รอยต่อจะช่วยให้คุณจำลองสคีมา ข้อมูลที่มี และการเปลี่ยนแปลงข้อมูลจากฐานข้อมูล Aurora ของคุณไปยังคลัสเตอร์ Amazon Redshift ใหม่หรือคลัสเตอร์ที่มีได้อย่างราบรื่น การบูรณาการ ETL แบบไร้รอยต่อช่วยลดความจําเป็นในการจัดการไปป์ไลน์ข้อมูลที่ซับซ้อน
ลูกค้า
Infosys
การตรวจสอบความถูกต้องของการขนส่งสินค้าเป็นสิ่งสำคัญในการรักษาความสมบูรณ์ของห่วงโซ่อุปทานสำหรับลูกค้าด้านการผลิต การค้าปลีก และลอจิสติกส์ของ Infosys เพื่อให้บรรลุเป้าหมายนี้ การนำเข้าข้อมูลการติดตามการขนส่งสินค้าแบบเรียลไทม์จึงเป็นสิ่งจำเป็นสำหรับการติดตามการจัดส่งและการวิเคราะห์การขนส่ง
“Infosys ได้ใช้ความสามารถของ-ETL แบบไร้รอยต่อเพื่อนำเข้าข้อมูลแบบเรียลไทม์ จึงช่วยให้สามารถติดตามการขนส่งสินค้าและมองเห็นสถานที่ สถานะ และเวลามาถึงโดยประมาณได้ สซึ่งช่วยเพิ่มประสิทธิภาพในการดำเนินการขนส่งและลดต้นทุนได้อย่างมาก ด้วยการรายงานและการวิเคราะห์ที่ครอบคลุมของ ETL แบบไร้รอยต่อ พร้อมด้วยพิมพ์เขียวของอุตสาหกรรมจาก Infosys Cobalt และ Topaz จึงทำสามารถตัดสินใจที่ขับเคลื่อนด้วยข้อมูลได้ในขณะนี้"
Sunil Senan รองประธานอาวุโสและหัวหน้าฝ่ายข้อมูล การวิเคราะห์ และ AI ระดับโลก - Infosys
Intuit
Intuit เป็นแพลตฟอร์มเทคโนโลยีทางการเงินระดับโลกที่ส่งเสริมความมั่งคั่งให้กับลูกค้าที่เป็นผู้บริโภคและธุรกิจขนาดเล็กจำนวน 100 ล้านรายด้วย TurboTax, Credit Karma, QuickBooks และ Mailchimp เนื่องจากความซับซ้อนของการย้ายข้อมูลที่กำลังจะเกิดขึ้น Intuit จึงมองหาการย้ายข้อมูลโปรไฟล์ในอัตรามากกว่า 10 ล้านรายการต่อวัน Intuit หันมาใช้การบูรณาการ ETL แบบไร้รอยต่อของ Amazon Aurora MySQL กับ Amazon Redshift เพื่อปรับปรุงกระบวนการนำเข้าข้อมูลให้มีประสิทธิภาพ และลดความจำเป็นในการดำเนินงานวิศวกรรมที่ซับซ้อน
“ปริมาณข้อมูลจำนวนมากและความจำเป็นในการย้ายข้อมูลอย่างราบรื่นถือเป็นความท้าทายที่สำคัญสำหรับเรา นอกจากนั้น เราต้องการโซลูชันที่จะช่วยให้เราวิเคราะห์กระบวนการย้ายข้อมูลได้อย่างรวดเร็ว ทำให้เราตัดสินใจที่ขับเคลื่อนด้วยข้อมูลได้อย่างรวดเร็ว เพื่อรับมือกับความท้าทายดังกล่าว Intuit จึงหันมาใช้การบูรณาการ ETL แบบไร้รอยต่อของ Amazon Aurora MySQL กับ Amazon Redshift เพื่อปรับปรุงกระบวนการนำเข้าข้อมูลให้มีประสิทธิภาพ และลดความจำเป็นในการดำเนินงานวิศวกรรมที่ซับซ้อน ETL แบบไร้รอยต่อช่วยให้เราสามารถส่งข้อมูลจำนวนมหาศาลไปยัง Amazon Redshift ได้โดยไม่จำเป็นต้องเก็บข้อมูลหรือแยกงานนำเข้าออกจากกัน ซึ่งช่วยให้ได้รับ Quick Insights เพื่อขับเคลื่อนการตัดสินใจทางเทคนิคและธุรกิจที่สำคัญ ซึ่งช่วยลดความพยายามที่อาจต้องใช้เวลานานหลายเดือน การใช้การบูรณาการ ETL แบบไร้รอยต่อกับ Amazon Redshift ช่วยให้เราสำรวจรูปแบบใหม่ ๆ ใน Intuit สำหรับการย้ายข้อมูลขนาดใหญ่และการวิเคราะห์แบบเรียลไทม์“
Aruna Ghiware ผู้จัดการฝ่ายพัฒนาผลิตภัณฑ์ - Intuit
KINTO Technologies Corporation
KINTO Technologies Corporation คือผู้เล่นคนสำคัญของอุตสาหกรรมแพลตฟอร์มการขับเคลื่อน และเป็นบริษัทเทคโนโลยีที่รับผิดชอบในการพัฒนาบริการ KINTO ในฐานะบริษัทผู้ให้บริการทางการเงินของ Toyota ด้วยการใช้ประโยชน์จากการบูรณาการ ETL แบบไร้รอยต่อของ Amazon Aurora MySQL กับ Amazon Redshift ทำให้ KINTO Technologies สามารถจัดทำไปป์ไลน์ข้อมูลที่มีความยืดหยุ่นมากขึ้นได้สำเร็จ และตอนนี้สามารถใช้คุณสมบัติการวิเคราะห์ขั้นสูงของ Amazon Redshift กับข้อมูลการดำเนินงานได้ในเวลาใกล้เคียงเรียลไทม์
“ก่อนที่จะมีการบูรณาการ ETL แบบไร้รอยต่อ เราใช้โซลูชันที่สร้างขึ้นเองซึ่งสตรีมการเปลี่ยนแปลงอย่างต่อเนื่องจากฐานข้อมูลหลักของเราไปยังแอปพลิเคชันดาวน์สตรีม แต่เราเผชิญกับความท้าทายด้านประสิทธิภาพและผลกระทบต่อเวิร์กโหลดการผลิตของเรามาตลอด เพื่อจัดการกับผลกระทบด้านประสิทธิภาพที่มีต่อเวิร์กโหลดการผลิต เราต้องปรับแต่งไปป์ไลน์ด้วยตนเองเพื่อส่งการอัปเดตให้ถี่น้อยลง และจัดการกับข้อมูลเก่าใน Amazon Redshift การใช้การบูรณาการ ETL แบบไร้รอยต่อของ Aurora MySQL กับ Amazon Redshift ทำให้เราสามารถได้รับข้อมูลแบบเกือบเรียลไทม์ใน Amazon Redshift ตลอดเวลา ซึ่งช่วยลดชั่วโมงของนักพัฒนาที่ใช้ในการจัดการไปป์ไลน์ข้อมูลด้วยตนเองสำหรับการดำเนินงาน ETL หรือจัดการกับผลกระทบด้านประสิทธิภาพที่มีต่อเวิร์กโหลด ซึ่งช่วยลดภาระการดำเนินงานของเรา
Hitoshi Kageyama รองประธานกรรมการบริหาร - KINTO Technologies Corporation
MassPay
MassPay เป็นผู้ให้บริการชั้นนำในด้านโซลูชันการควบคุมระบบการชำระเงินระดับโลกที่ช่วยให้การชำระเงิน B2B และ B2C มีความราบรื่น ปลอดภัย และสอดคล้องกับทุกประเทศ สกุลเงิน หรือวิธีการชำระเงิน
“เราใช้ Aurora รุ่นที่ใช้งานร่วมกับ MySQL ได้และ Amazon Redshift เพื่อมอบโครงสร้างพื้นฐานที่มีประสิทธิภาพสูงและปรับขนาดได้สำหรับการประมวลผลและการวิเคราะห์ธุรกรรม Aurora MySQL ทำหน้าที่เป็นแกนหลักของชั้นฐานข้อมูลการดำเนินงานของเรา รองรับเวิร์กโฟลว์การจ่ายเงินที่สำคัญต่อภารกิจซึ่งมีการประมวลผลหลายพันล้านดอลลาร์ Amazon Redshift สนับสนุนการจัดเก็บข้อมูลและการวิเคราะห์ขั้นสูงของเรา โดยให้ข้อมูลเชิงลึกเกือบเรียลไทม์เกี่ยวกับประสิทธิภาพการจ่ายเงิน แนวโน้มของลูกค้า และประสิทธิภาพในการดำเนินงาน ด้วยการผสานรวมการบูรณาการ ETL แบบไร้รอยต่อของ Aurora MySQL กับ Amazon Redshift ทำให้เราขจัดความล่าช้าระหว่างการนำข้อมูลเข้าและการรายงานได้ สิ่งนี้ทำให้ความหน่วงความพร้อมใช้งานของข้อมูลลดลง 90% โดยขณะนี้สามารถเข้าถึงข้อมูล MySQL ได้ใน Redshift เร็วขึ้น 1.5 เท่า ผลลัพธ์ที่ได้คือการตัดสินใจภายในที่ดีขึ้นและการปรับปรุงการใช้งานภายในถึง 75% และการใช้งาน Amazon Redshift เป็นแหล่งรายงานหลักของเรา”
Yossi Shlomo ผู้อำนวยการฝ่ายสถาปัตยกรรมระบบการชำระเงิน - MassPay
Money Forward i
Money Forward i มุ่งมั่นที่จะเพิ่มผลผลิตและศักยภาพเชิงสร้างสรรค์ของทีมไอทีในองค์กรโดยปรับปรุงงานที่ซ้ำซ้อนให้มีความคล่องตัว ลดค่าใช้จ่าย และเสริมความแข็งแกร่งในการรักษาปลอดภัยผ่าน Admina ซึ่งเป็นแพลตฟอร์มการจัดการ SaaS ที่ใช้งานง่าย
“ก่อนที่จะเปิดตัวการบูรณาการ ETL แบบไร้รอยต่อของ Amazon Aurora กับ Amazon Redshift ภาระในการใช้งานและบำรุงรักษาการดำเนินงาน ETL ของเราเพื่อวิเคราะห์ข้อมูลผลิตภัณฑ์จาก Amazon Aurora MySQL ใน Amazon Redshift นั้นถือเป็นเรื่องท้าทาย การบูรณาการ ETL แบบไร้รอยต่อของ Aurora MySQL กับ Amazon Redshift ช่วยให้สามารถซิงโครไนซ์ข้อมูลได้แบบเกือบจะเรียลไทม์ระหว่างฐานข้อมูล Aurora MySQL และ Amazon Redshift ซึ่งช่วยลดเวลาในการสร้างสภาพแวดล้อมการวิเคราะห์จาก 1 เดือนเหลือเพียงแค่ 3 ชั่วโมง นอกเหนือจากการลดเวิร์กโหลดเริ่มต้นในช่วงเวลาของการพัฒนาแล้ว ด้วยการบูรณาการ ETL แบบไร้รอยต่อยังส่งผลกระทบต่อสภาพแวดล้อมการผลิตน้อยลง ทำให้สามารถสร้างสภาพแวดล้อมการวิเคราะห์ได้โดยใช้ต้นทุนน้อยที่สุดและมีความเร็วสูงสุด”
Katsutoshi Murakami ผู้อำนวยการและ CPO - Money Forward i
ราคา
AWS ไม่เรียกเก็บค่าธรรมเนียมเพิ่มเติมสำหรับการบูรณาการ ETL แบบไร้รอยต่อระหว่าง Aurora กับ Amazon Redshift ระบบจะเรียกเก็บค่าบริการทรัพยากร Aurora และ Amazon Redshift ที่มีอยู่ที่ใช้ในการสร้างและประมวลผลข้อมูลการเปลี่ยนแปลงที่สร้างขึ้นโดยเป็นส่วนหนึ่งของการบูรณาการ ETL แบบไร้รอยต่อ ทรัพยากรเหล่านี้อาจรวมถึง:
- I/O เพิ่มเติมและพื้นที่เก็บข้อมูลที่ใช้โดยการเปิดใช้งานการบันทึกการเปลี่ยนแปลงข้อมูล
- ค่าใช้จ่ายในการส่งออกสแนปชอตสำหรับการส่งออกข้อมูลเบื้องต้นไปยังฐานข้อมูล Amazon Redshift ของคุณ
- พื้นที่เก็บข้อมูล Amazon Redshift เพิ่มเติมสำหรับการจัดเก็บข้อมูลที่จำลองแบบ
- การประมวลผล Amazon Redshift เพิ่มเติมสำหรับการประมวลผลการจำลองแบบข้อมูล
- ค่าใช้จ่ายในการถ่ายโอนข้อมูล Cross-AZ สำหรับการย้ายข้อมูลจากต้นทางไปยังปลายทาง
ไม่มีค่าใช้จ่ายเพิ่มเติมสำหรับการประมวลผลการเปลี่ยนแปลงข้อมูลอย่างต่อเนื่องโดยการบูรณาการ ETL แบบไร้รอยต่อ หากต้องการข้อมูลเพิ่มเติม โปรดดูที่หน้าราคา Aurora
วิธีเริ่มต้นใช้งาน
หากต้องการสร้างการบูรณาการ ETL แบบไร้รอยต่อระหว่าง Aurora และ Amazon Redshift คุณต้องระบุคลัสเตอร์ Aurora DB เป็นแหล่งที่มาของข้อมูลและระบุคลังข้อมูล Amazon Redshift เป็นเป้าหมาย การบูรณาการจะจําลองข้อมูลจากฐานข้อมูลต้นทางไปยังคลังข้อมูลเป้าหมาย ข้อมูลจะพร้อมใช้งานใน Amazon Redshift ภายในไม่กี่วินาที ช่วยให้นักวิเคราะห์ข้อมูลเริ่มใช้การวิเคราะห์ของ Amazon Redshift และฟังก์ชัน ML กับข้อมูลได้ เพื่อเรียนรู้เพิ่มเติม โปรดไปที่คู่มือเริ่มต้นใช้งาน Aurora และ Amazon Redshift