- การประมวลผลบนคลาวด์คืออะไร›
- ฮับแนวคิดการประมวลผลบนคลาวด์›
- การวิเคราะห์
การสตรีมข้อมูลแบบเรียลไทม์คืออะไร
Data Stream แบบเรียลไทม์คืออะไร
Data Stream แบบเรียลไทม์เกี่ยวข้องกับการรวบรวมและการนำเข้าลำดับข้อมูลจากแหล่งที่มาต่าง ๆ ของข้อมูล รวมถึงการประมวลผลข้อมูลนั้นแบบเรียลไทม์เพื่อดึงข้อมูลเชิงลึกและความหมาย
ตัวอย่างของข้อมูลการสตรีม ได้แก่ ไฟล์ข้อมูลบันทึกที่ลูกค้าสร้างขึ้นโดยใช้แอปพลิเคชันบนอุปกรณ์เคลื่อนที่หรือแอปพลิเคชันบนเว็บ การซื้อในอีคอมเมิร์ซ กิจกรรมของผู้เล่นในเกม ข้อมูลจากโซเชียลเน็ตเวิร์ค ห้องค้าหลักทรัพย์ หรือบริการเชิงพื้นที่ และการตรวจวัดระยะไกลจากอุปกรณ์หรือเครื่องมือที่เชื่อมต่อในศูนย์ข้อมูล
Data Stream แบบเรียลไทม์ช่วยให้คุณสามารถวิเคราะห์และประมวลผลข้อมูลแบบเรียลไทม์โดยไม่ต้องรอคำตอบหลายชั่วโมง หลายวัน หรือหลายสัปดาห์
องค์ประกอบของ Data Stream แบบเรียลไทม์คืออะไร
ต้นทาง: อุปกรณ์หรือแอปพลิเคชันหลายแสนรายการที่ผลิตข้อมูลอย่างต่อเนื่องในปริมาณมากด้วยความเร็วสูง ตัวอย่างได้แก่ อุปกรณ์มือถือ, แอปพลิเคชันบนเว็บ (คลิกสตรีม), ข้อมูลบันทึกแอปพลิเคชัน, เซนเซอร์ IoT, อุปกรณ์อัจฉริยะ และแอปพลิเคชันเกม
การกล@@ ั่นสตรีม: การผสานรวมอย่างง่ายกับบริการ AWS กว่า 15 แห่ง (Amazon API Gateway , AWS IoT Core, Amazon Cloudwatch และอื่น ๆ) ที่ช่วยให้คุณสามารถจับข้อมูลอย่างต่อเนื่องที่ผลิตจากอุปกรณ์หลายพันอย่างในลักษณะที่ทนทานและปลอดภัย
การจัด@@ เก็บสตรีม: เลือกโซลูชันที่ตอบสนองความต้องการในการจัดเก็บข้อมูลของคุณตามข้อกำหนดในการปรับขนาด ความล่าช้า และการประมวลผล เช่น Amazon Kinesis Data Stre ams, Amazon Data Firehose และ Amazon Man aged Streaming สำหรับ Apache Kafka (Amazon MSK)
การประม@@ วลผลสตรีม: เลือกจากบริการที่หลากหลาย ตั้งแต่โซลูชันที่ต้องคลิกเพียงไม่กี่ครั้งเพื่อแปลงและส่งข้อมูลอย่างต่อเนื่องไปยังปลายทางเช่น Amazon Data Firehose ไปจนถึงแอปพลิเคชันแบบเรียลไทม์ที่มีประสิทธิภาพที่สร้างขึ้นเองและการรวมการเรียนรู้ของเครื่องโดยใช้บริการเช่น Amazon Managed Service สำหรับ Apache F link และ AWS Lambda
ปลายทาง: ส่งข้อมูลสตรีมไปยังทะเลสาบข้อมูล คลังข้อมูล และบริการวิเคราะห์แบบบูรณาการอย่างครบวงจร สำหรับการวิเคราะห์เพิ่มเติมหรือการจัดเก็บระยะยาว เช่น Amazon S3, Amazon Redshift, Amazon OpenSearch Service และ Amazon EMR
กรณีการใช้งาน Data Stream แบบเรียลไทม์คืออะไร
การย้ายข้อมูลแบบเรียลไทม์
การสตรีมข้อมูลจากอุปกรณ์หลายแสนเครื่องและการดำเนินการแปลง ETL บนข้อมูลความเร็วสูงต่อเนื่องในปริมาณมากแบบเรียลไทม์ ช่วยให้ผู้ใช้วิเคราะห์ข้อมูลได้ทันทีที่ผลิตขึ้น จากนั้นจัดเก็บข้อมูลอย่างคงทนไว้ใน Data Lake คลังข้อมูล หรือฐานข้อมูลเพื่อวิเคราะห์ต่อไป
เรียนรู้วิธีที่ WalkMe จัดการกับความท้าทายในการจัดลำดับขณะสตรีมข้อมูลไปยัง Data Lake
เรียนรู้วิธีที่ John Deere ดำเนินการสตรีม ETL เข้าสู่ Data Lake แบบเรียลไทม์
การวิเคราะห์แบบเรียลไทม์
วิเคราะห์ข้อมูลทันทีที่ผลิตและเปิดใช้งานการตัดสินใจแบบเรียลไทม์ทั่วทั้งองค์กร เพื่อใช้ประโยชน์จากโอกาส ปรับปรุงประสบการณ์ของลูกค้า ป้องกันความล้มเหลวของระบบเครือข่าย หรืออัปเดตเมตริกทางธุรกิจที่สำคัญแบบเรียลไทม์
ข้อมูลบันทึก: บันทึก ประมวลผล และวิเคราะห์ข้อมูลบันทึกจากแอปพลิเคชันของคุณแบบเรียลไทม์
อ่านเกี่ยวกับวิธีวิเคราะห์พฤติกรรมผู้ใช้แบบเรียลไทม์
เรียนรู้วิธีวิเคราะห์และแสดงภาพการรับส่งข้อมูลเครือข่าย VPC ของคุณ
ดูวิธีจัดการข้อมูลบันทึกเซิร์ฟเวอร์ Microsoft Exchange แบบรวมศูนย์
อ่านเกี่ยวกับการวิเคราะห์ข้อมูลบันทึก »
การอัปเดตแบบเรียลไทม์: มีส่วนร่วมกับผู้บริโภค ผู้เล่นเกม ผู้ค้าทางการเงิน และอื่นๆ ด้วยการจัดเตรียมการอัปเดตแบบเรียลไทม์สำหรับตัววัดการตัดสินใจที่สำคัญ มอบข้อเสนอแนะ และประสบการณ์ของลูกค้า
ดูวิธีใช้การวิเคราะห์เกมแบบเรียลไทม์เพื่อสร้างความพึงพอใจให้กับผู้เล่นเกมของคุณ
เรียนรู้วิธีส่งมอบข่าวที่กำลังเป็นที่นิยมและเหมาะสำหรับแต่ละบุคคลแบบเรียลไทม์
Clickstream: รับมุมมองแบบเรียลไทม์เกี่ยวกับประสิทธิภาพของเนื้อหาเว็บและการโต้ตอบของผู้ใช้ที่มีต่อแอปพลิเคชันและเว็บไซต์ของคุณ รวมถึงพฤติกรรมของผู้ใช้ ระยะเวลาที่ใช้ เนื้อหายอดนิยม และอื่นๆ
IoT: เชื่อมต่อกับอุปกรณ์ IoT หลายแสนเครื่อง แล้วรวบรวม ประมวลผล และวิเคราะห์ข้อมูลการสตรีมแบบเรียลไทม์
การประมวลผลสตรีมเหตุการณ์
บันทึกและรับมือเหตุการณ์ที่เกิดขึ้นแบบเรียลไทม์ในหลายแอปพลิเคชัน กรณีการใช้งานที่พบบ่อยที่สุดคือการสื่อสารระหว่างไมโครเซอร์วิสที่แยกจากกันหลายร้อยรายการและการรักษาระบบบันทึกผ่าน Change Data Capture
การสื่อสารระหว่างไมโครเซอร์วิสที่แยกจากกัน: เมื่อมีการทริกเกอร์ไมโครเซอร์วิสใด ๆ จะสามารถส่งเหตุการณ์ไปยัง Data Stream ได้แบบเรียลไทม์ และไมโครเซอร์วิสอื่น ๆ สามารถ “ดู” สตรีมเพื่อดูว่ามีเหตุการณ์ใดเกิดขึ้นเพื่อทริกเกอร์การกระทำที่ต้องดำเนินการหรือไม่
เรียนรู้วิธีที่ Lyft สื่อสารระหว่างไมโครเซอร์วิสหลายร้อยรายการแบบเรียลไทม์
Change Data Capture: สามารถสตรีมการเปลี่ยนแปลงทั้งหมดของข้อมูลในแอปพลิเคชันและฐานข้อมูลจำนวนมาก ไปยังระบบส่วนกลางของข้อมูลบันทึกได้แบบเรียลไทม์
เรียนรู้วิธีโหลดข้อมูลของ Change Data Capture จากฐานข้อมูลแบบเชิงสัมพันธ์
บริการสตรีมบน AWS มีอะไรบ้าง
AWS ให้ตัวเลือกมากมายในการทำงานกับ Data Stream แบบเรียลไทม์
- Amazon Kinesis Data Streams คือบริการ Data Stream แบบเรียลไทม์ที่มั่นคงและปรับขนาดได้ซึ่งสามารถบันทึกข้อมูลในระดับกิกะไบต์ต่อวินาทีอย่างต่อเนื่องจากแหล่งข้อมูลนับแสนแห่ง
- Amazon Data Firehose จับภาพ แปลง และโหลดสตรีมข้อมูลลงในที่เก็บข้อมูล AWS เพื่อการวิเคราะห์แบบเรียลไทม์ด้วยเครื่องมือข่าวกรองธุรกิจที่มีอยู่ด้วยการคลิกเพียงไม่กี่ครั้ง
- บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink แปลงและวิเคราะห์ข้อมูลการสตรีมแบบเรียลไทม์ได้ โดยใช้ Apache Flink ซึ่งเป็นเฟรมเวิร์กแบบโอเพนซอร์สและกลไกสำหรับการประมวลผล Data Stream
- Amazon Managed Streaming for Apache Kafka เป็นบริการที่มีการจัดการเต็มรูปแบบที่ช่วยให้คุณสร้างและเรียกใช้แอปพลิเคชันที่ใช้ Apache Kafka ในการประมวลผลข้อมูลการสตรีมได้ง่ายยิ่งขึ้น
เริ่มต้นด้วยการสตรีมข้อมูลแบบเรียลไทม์บน AWS โดย การสร้างบัญชี วันนี้