- ผลิตภัณฑ์›
- การวิเคราะห์›
- Amazon EMR
Amazon EMR
เรียกใช้และปรับขนาด Apache Spark, Trino และปริมาณงานข้อมูลขนาดใหญ่อื่น ๆ ได้อย่างง่ายดาย
ทำไมต้องทำไมอเมซอน EMR
Amazon EMR เป็นบริการประมวลผลข้อมูลขนาดใหญ่ที่เร่งปริมาณงานการวิเคราะห์ด้วยความยืดหยุ่นและขนาดที่ไม่มีใครเทียบได้ EMR มีรันไทม์ที่ปรับให้เหมาะสมกับประสิทธิภาพสำหรับ Apache Spark, Trino, Apache Flink และ Apache Hive ลดต้นทุนและเวลาในการประมวลผลอย่างมาก บริการนี้รวมเข้ากับ AWS ได้อย่างราบรื่น ทำให้ขั้นตอนการทำงานของข้อมูลและสถาปัตยกรรมระดับองค์กรง่ายขึ้น ด้วยการปรับขนาดอัตโนมัติในตัว การตรวจสอบอัจฉริยะ และโครงสร้างพื้นฐานที่มีการจัดการ EMR ช่วยให้คุณมุ่งเน้นไปที่การดึงข้อมูลเชิงลึก ไม่ใช่การจัดการคลัสเตอร์ ซึ่งส่งมอบการวิเคราะห์ขนาดเพทาไบต์อย่างมีประสิทธิภาพโดยไม่ต้องใช้ค่าใช้จ่ายในการดำเนินงานของโซลูชันแบบดั้งเดิม
ตัวเลือกการปรับใช้ที่ยืดหยุ่น
เหตุใดต้องใช้ EMR แบบไม่ต้องใช้เซิร์ฟเวอร์
Amazon EMR Serverless ช่วยให้นักวิเคราะห์และวิศวกรข้อมูลสามารถเรียกใช้กรอบการวิเคราะห์ข้อมูลขนาดใหญ่แบบโอเพนซอร์สเช่น Apache Spark โดยไม่ต้องกำหนดค่า จัดการ และปรับขนาดคลัสเตอร์หรือเซิร์ฟเวอร์ EMR Serverless เป็นวิธีที่เร็วที่สุดในการเริ่มต้นด้วยคุณสมบัติและประโยชน์ทั้งหมดของ Amazon EMR โดยไม่จำเป็นต้องมีผู้เชี่ยวชาญในการวางแผนและจัดการคลัสเตอร์
ทำไมต้องใช้ Amazon EMR บน Amazon EC2
Amazon EMR บน Amazon EC2 ให้การควบคุมการกำหนดค่าคลัสเตอร์และรองรับคลัสเตอร์ที่ใช้งานได้นานทำให้เหมาะสำหรับงานการประมวลผลข้อมูลอย่างต่อเนื่องที่ต้องการการตั้งค่าฮาร์ดแวร์เฉพาะ คุณสามารถติดตั้งแอปพลิเคชันที่กำหนดเองควบคู่ไปกับเฟรมเวิร์กยอดนิยม เช่น Apache Spark และ Trino ในขณะที่นำเสนอประเภทอินสแตนซ์ EC2 ที่หลากหลายเพื่อเพิ่มประสิทธิภาพสำหรับทั้งต้นทุนและประสิทธิภาพ การผสานรวมกับบริการ AWS อื่น ๆ และความสามารถในการใช้ Spot Instances ทำให้เป็นโซลูชันที่คุ้มค่าสำหรับองค์กรที่ต้องการการควบคุมอย่างละเอียดในการดำเนินงานข้อมูลขนาดใหญ่
ทำไมต้องใช้ Amazon EMR บน Amazon EKS
Amazon EMR บน Amazon Elastic Kubernetes Service (EKS) ช่วยให้คุณสามารถส่งงาน Apache Spark ตามความต้องการบน EKS โดยไม่ต้องจัดเตรียมคลัสเตอร์ EMR ด้วย EMR บน EKS คุณสามารถเรียกใช้ปริมาณงานวิเคราะห์ของคุณบนคลัสเตอร์ Amazon EKS เดียวกับแอปพลิเคชันอื่น ๆ ที่ใช้ Kubernetes ของคุณเพื่อปรับปรุงการใช้ทรัพยากรและลดความซับซ้อนในการจัดการโครงสร้างพื้นฐาน
ประมวลผลข้อมูลของคุณด้วย Amazon EMR ใน Amazon SageMaker รุ่นต่อไป
Amazon EMR มีให้ใช้งานใน Amazon SageMaker รุ่นถัดไป ช่วยให้คุณสามารถเรียกใช้ Apache Spark, Trino และกรอบการวิเคราะห์โอเพนซอร์สอื่น ๆ ได้อย่างง่ายดายในสภาพแวดล้อมการพัฒนาข้อมูลและ AI แบบครบวงจร
ประโยชน์
Amazon EMR รวม Apache Spark ที่ปรับให้เหมาะสมกับประสิทธิภาพ เพื่อการประมวลผลที่รวดเร็วและคุ้มค่ากับความยืดหยุ่นในการเลือกประเภทอินสแตนซ์ รวมถึงอินสแตนซ์ Spot และการปรับขนาดอัตโนมัติที่มีการจัดการอย่างเต็มที่ซึ่งคลัสเตอร์ขนาดที่เหมาะสมแบบไดนามิก ซึ่งช่วยลดการจัดสรรส่วนเกินและลดการใช้จ่ายโดยรวม
Amazon EMR เพิ่มขึ้นเร็วกว่า Apache Spark แบบโอเพนซอร์ส 5.4 เท่าในขณะที่ยังคงความเข้ากันได้ API ช่วยให้ลูกค้าสามารถปรับใช้เฟรมเวิร์กโอเพนซอร์สตามที่พวกเขาเลือก ได้แก่ Apache Spark, Trino, Apache Flink หรือ Apache Hive EMR รองรับรูปแบบตารางแบบเปิดยอดนิยม เช่น Iceberg, Hudi และ Delta เพื่อเร่งเวลาสู่ข้อมูลเชิงลึก
EMR มีตัวเลือกในการปรับใช้ รวมถึง EMR Serverless สำหรับการประมวลผลที่ได้รับการจัดการอย่างเต็มที่และปราศจากโครงสร้างพื้นฐาน EMR บน EC2 สำหรับการควบคุมคลัสเตอร์แบบละเอียด และ EMR บน EKS สำหรับเวิร์กโหลดข้อมูลขนาดใหญ่เนทีฟ Kubernetes ไม่ว่าจะเรียกใช้คลัสเตอร์ระยะสั้นสำหรับงานตามความต้องการหรือคลัสเตอร์ที่ทำงานยาวนาน EMR จะปรับให้เข้ากับความต้องการในการดำเนินงานของคุณในขณะที่เพิ่มประสิทธิภาพต้นทุนผ่านการจัดสรรทรัพยากรที่ยืดหยุ่นและการปรับขนาดที่มีประสิทธิภาพ
Amazon EMR ใน Amazon SageMaker รุ่นต่อไปช่วยให้คุณสามารถเรียกใช้เฟรมเวิร์กโอเพนซอร์ส เช่น Apache Spark, Trino และ Apache Flink ช่วยให้คุณสามารถปรับขนาดเวิร์กโหลดการวิเคราะห์ได้อย่างง่ายดายโดยไม่ต้องจัดเตรียมหรือจัดการโครงสร้างพื้นฐาน ด้วยความสามารถของ EMR ใน Amazon SageMaker คุณสามารถรวมการประมวลผลข้อมูลและการพัฒนาแบบจำลอง ทำให้สามารถทำงานแบบครบวงจรตั้งแต่การแปลงข้อมูลดิบไปจนถึงการปรับใช้ AI ในสภาพแวดล้อมการทำงานร่วมกันเดียว
เปลี่ยนการอัพเกรด Apache Spark ที่ยาวนานหลายเดือนให้เป็นโครงการที่มีประสิทธิภาพตลอดสัปดาห์ผ่านระบบอัตโนมัติอัจฉริยะ ตัวแทนอัพเกรด Spark ช่วยเพิ่มความคล่องตัวในการย้ายระดับองค์กรโดยการวิเคราะห์และตรวจสอบการเปลี่ยนแปลง API ในฐานรหัสทั้งหมดของคุณโดยอัตโนมัติ ซึ่งช่วยลดทั้งต้นทุนและความซับซ้อนได้อย่างมาก