خبير منصة داتابريكس

خبير منصة داتابريكس

- - - - - - - - - - - -

المسؤوليات الرئيسية

خبير منصة داتابريكس

• إدارة وتكوين وإدارة مساحات العمل في داتابريكس، والعناقيد، ومستودعات SQL، والخدمات بدون خادم، والوظائف، وأشياء مساحة العمل.

  
  
  

• تنفيذ وإدارة كتالوج Unity، بما في ذلك الكتالوجات، والمخططات، والجداول، وضوابط الوصول، وسلسلة البيانات.

  
  
  

• تحسين سياسات العناقيد، واستراتيجيات التوسع التلقائي، وإدارة التكاليف للخدمات بدون خادم والحوسبة الكلاسيكية.

  
  
  

• العمل كخبير في بنية داتابريكس، والحكومة، وأفضل ممارسات الأمان.

  
  
  

• مراقبة أداء مساحة العمل، واستقرار العناقيد، والسجلات، وموثوقية الوظائف، وصحة المنصة.

  
  
  

• تنفيذ خطوط أنابيب CI/CD للدفاتر، والوظائف، والجداول الحية Delta باستخدام تكامل Git.

  
  
  

• دعم توفير المستخدمين، وضوابط الوصول (ACLs)، وإدارة الأسرار، وتسجيل الدخول الأحادي لمساحة العمل.

  
  
  

• كتابة كود Spark فعال (PySpark / SQL / Scala) لعمليات ETL، وتحويل البيانات، وتحسينات خطوط الأنابيب.

  
  
  

• مساعدة فرق هندسة البيانات في تصحيح وظائف Spark، وضبط الأداء، ومراجعات الكود.

  
  
  

• بناء وصيانة خطوط أنابيب من الدرجة الإنتاجية باستخدام Delta Lake، ووظائف داتابريكس، وDLT.

  
  
  

• تنفيذ وإدارة RBAC، وتوفير SCIM، وAIM، ومبادئ الخدمة، وضوابط الوصول للعناقيد.

  
  
  

• ضمان الامتثال لمتطلبات حوكمة البيانات المؤسسية، والتدقيق، والتسجيل.

  
  
  

• إدارة خزائن الأسرار وفرض معالجة آمنة للاعتمادات.

  
  
  

• دعم تقارير التدقيق، ومراجعات الامتثال، وتكوين أمان مساحة العمل.

  
  
  

• مراقبة فشل الوظائف، وأداء دورة حياة العناقيد، والأحداث النظامية باستخدام سجلات داتابريكس وأدوات المراقبة السحابية الأصلية (Azure Monitor).

  
  
  

• إنشاء تنبيهات آلية ولوحات معلومات للرؤية لاستخدام المنصة، والتكاليف، والأداء.

  
  
  

• استكشاف مشكلات وقت تشغيل داتابريكس، وتعارضات المكتبات، وفشل تنفيذ Spark.

  
  
  

• التعاون مع فرق السحابة والشبكة بشأن مشكلات الاتصال VNet، والتوصيل، والروابط الخاصة.

  
  
  

• تطوير سياسات حوكمة التكاليف لأحجام العناقيد، وسياسات الوظائف، ودرجات مستودع SQL.

  
  
  

• تحديد الفرص لتقليل التكاليف من خلال التوسع التلقائي، والحالات المخصصة (العناقيد الكلاسيكية)، وتوحيد الوظائف.

  
  
  

المؤهلات المطلوبة

• من 4 إلى 6 سنوات من الخبرة في العمل مع داتابريكس كمدير أو مهندس بيانات.

  
  
  

• خبرة قوية في برمجة Apache Spark (يفضل PySpark؛ SQL أو Scala ميزة إضافية).

  
  
  

• خبرة عملية مع وظائف داتابريكس، وتكوين العناقيد، ومستودعات SQL، وكتالوج Unity.

  
  
  

• فهم عميق لـ Delta Lake، والمعاملات ACID، وهندسة بحيرة البيانات.

  
  
  

• خبرة في Git، وCI/CD، ومفاهيم DevOps لعمليات هندسة البيانات.

  
  
  

• معرفة بالمنصات السحابية (Azure).

  
  
  

• إلمام بأساسيات IAM، والشبكات، وأدوات المراقبة، وأنماط الأمان.