- Amazon Redshift›
- الميزات›
- تكامل Apache Spark
تكامل Amazon Redshift لـ Apache Spark
بادر بإنشاء تطبيقات Apache Spark التي تقرأ البيانات وتُدخِلها من Amazon Redshift
لماذا تكامل Amazon Redshift لـ Apache Spark؟
تكامل Amazon Redshift لـ Apache Spark يبسط و تطبيقات Apache Spark ويسرعها والتي تصل إلى بيانات Amazon Redshift من خدمات تحليلات AWS مثل Amazon EMR و AWS Glue و Amazon SageMaker. باستخدام Amazon EMR وAWS Glue وSageMaker، يمكنك بسرعة إنشاء تطبيقات Apache Spark التي تقرأ البيانات من مستودع بيانات Amazon Redshift لديك وتكتبها إليه، دون المساس بالأداء أو اتساق المعاملات. يستخدم تكامل Amazon Redshift لـ Apache Spark أيضًا بيانات الاعتماد المستندة إلى AWS إدارة الهوية والوصول (IAM) في AWS لتعزيز الأمان. باستخدام تكامل Amazon Redshift لـ Apache Spark، لا حاجة إلى الإعداد اليدوي وصيانة للإصدارات غير المعتمدة من موصلات الجهات الخارجية. يمكنك البدء بمهام Apache Spark باستخدام البيانات في Amazon Redshift في ثوانٍ. يعمل هذا التكامل الجديد على تحسين أداء تطبيقات Apache Spark باستخدام بيانات Amazon Redshift.
فوائد Amazon Redshift
توسيع نطاق مصادر البيانات التي يمكنك استخدامها في التحليلات الثرية وتطبيقات تعلم الآلة (ML) التي تعمل في Amazon EMR أو AWS Glue أو SageMaker من خلال قراءة البيانات من مستودع البيانات الخاص بك وكتابتها إليه.
تبسيط العملية المرهقة والتي تكون في كثير من الأحيان يدوية لإعداد الموصلات غير المعتمدة وبرامج تشغيل JDBC، مما يقلل من وقت التحضير لمهام التحليلات والتعلم الآلي.
استخدام العديد من إمكانيات الدفع لأسفل مثل وظائف الفرز والتجميع والحد والانضمام والتدرج بحيث تُنقل البيانات ذات الصلة فقط من مستودع بيانات Amazon Redshift.
كيفية العمل
استخدام خدمات AWS لإنشاء تطبيقات Apache Spark التي تقرأ وتكتب في مستودع بيانات Amazon Redshift لديك.
حالات الاستخدام
إنشاء تطبيقات Apache Spark في Java وScala وPython باستخدام خدمات تحليلات AWS المستندة إلى Apache Spark.
قراءة البيانات وكتابتها من Amazon Redshift وإليها باستخدام خدمات Amazon EMR وAWS Glue وSageMaker وAWS Analytics وML.
استخدام Amazon EMR أو AWS Glue لأخذ تعليمة إطار البيانات البرمجية من مهمة Apache Spark أو دفتر ملاحظات خاص بك والاتصال بـ Amazon Redshift.
تبسيط عمليتك بدون تثبيت أو اختبار، وتعزيز الأمان (بيانات الاعتماد المستندة إلى IAM) وعمليات الدفع التشغيلية وتنسيق ملف Parquet للأداء.
العملاء
كوري جونسون، مدير مهندس البيانات - Huron للاستشارات
إن Huron هي شركة خدمات مهنية عالمية تتعاون مع العملاء لتطبيق ما يمكن تطبيقه من خلال إنشاء الإستراتيجيات السليمة، وتحسين العمليات، وتسريع التحول الرقمي، وتمكين الشركات وأفرادها من الإمساك بزمام مستقبلهم.
"نحن نمكّن مهندسينا من بناء مسارات البيانات والتطبيقات الخاصة بهم مع Apache Spark باستخدام Python وScala." لقد أردنا حلاً مصممًا خصيصًا ليبسط العمليات ويقدم النتائج بشكل أسرع وأكثر كفاءة لعملائنا، وهذا ما نحصل عليه من خلال تكامل Amazon Redshift الجديد لـ Apache Spark.
ألكوين ويدوس، مهندس البيانات الرئيسي - GE Aerospace
شركة GE Aerospace هي مزود عالمي للمحركات النفاثة ومكونات الطائرات التجارية والعسكرية وأنظمتها. تقوم الشركة بتصميم المحركات النفاثة وتطويرها وتصنيعها منذ الحرب العالمية الأولى.
"تستخدم GE Aerospace تحليلات AWS وAmazon Redshift لتمكين رؤى الأعمال الحرجة التي تقود اتخاذ قرارات الأعمال المهمة. من خلال دعم النسخ التلقائي من Amazon S3، يمكننا إنشاء مسارات بيانات أبسط لنقل البيانات من Amazon S3 إلى Amazon Redshift. هذا يزيد من سرعة وقدرة فرق منتجات البيانات لدينا على الوصول إلى البيانات وتقديم رؤى للمستخدمين النهائيين. نمضي وقتًا أطول لإضافة القيمة من خلال البيانات، ووقتًا أقل في عمليات التكامل."
نيما رافايل، كبير مسؤولي البيانات - Goldman Sachs
مجموعة Goldman Sachs المحدودة هي مؤسسة مالية عالمية رائدة تقدم نطاقًا واسعًا من الخدمات المالية تشمل الخدمات المصرفية الاستثمارية، والأوراق المالية، وإدارة الاستثمار، والخدمات المصرفية للأفراد، إلى قاعدة عملاء كبيرة ومتنوعة تضم الشركات والمؤسسات المالية والحكومات والأفراد.
"ينصب تركيزنا على توفير الخدمة الذاتية للوصول إلى البيانات لجميع مستخدمينا في Goldman Sachs. من خلال Legend، منصتنا مفتوحة المصدر لإدارة وحوكمة البيانات، نمكّن المستخدمين من تطوير تطبيقات تتمحور حول البيانات واشتقاق رؤى مستندة إلى البيانات، في الوقت الذي نتعاون فيه معهم في جميع جوانب صناعة الخدمات المالية. من خلال تكامل Amazon Redshift مع Apache Spark، سيتمكن فريق منصة البيانات لدينا من الوصول إلى بيانات Amazon Redshift بأقل عدد من الخطوات اليدوية - مما يسمح بالاستخراج والانتقال والتحميل (ETL) بلا تعليمات برمجية، الأمر الذي سيمكننا من التسهيل على المهندسين أن يصبوا كامل تركيزهم على تحسين سير عملهم أثناء قيامهم بجمع معلومات كاملة في الوقت المناسب. نتوقع أن نشهد تحسنًا في أداء التطبيقات وتحسين الأمان حيث يمكن لمستخدمينا الآن الوصول بسهولة إلى أحدث البيانات في Amazon Redshift."
هل وجدت ما كنت تبحث عنه اليوم؟
أخبرنا حتى نتمكن من تحسين جودة المحتوى الموجود على صفحاتنا