مهندس بيانات (باي سبارك)

نحن نبحث عن مهندس بيانات (باي سبارك) ذو خبرة لتصميم وبناء وتحسين وصيانة خطوط بيانات قابلة للتوسع لبيئات الإنتاج. تتطلب هذه الوظيفة خبرة عملية قوية في معالجة البيانات الضخمة، وتحسين خطوط البيانات، والنشر باستخدام أدوات وأطر عمل هندسة البيانات الحديثة.

• تصميم وتطوير وصيانة خطوط بيانات قوية وقابلة للتوسع باستخدام بايثون وباي سبارك
  

  
  

• إجراء إدخال البيانات، والتحويل، والتنظيف، والتحقق عبر مجموعات البيانات المنظمة وغير المنظمة
  

  
  

• إجراء تحليل البيانات الاستكشافية (EDA) لتحديد أنماط البيانات، والشذوذ، ومشكلات الجودة
  

  
  

• تطبيق تقنيات ملء البيانات، وربط البيانات، والتنظيف لضمان جودة البيانات العالية
  

  
  

• تنفيذ خطوط هندسة الميزات لدعم التحليلات وحالات الاستخدام اللاحقة
  

  
  

• تحسين وظائف سبارك من حيث الأداء، والقابلية للتوسع، وكفاءة التكلفة
  

  
  

• نشر وضبط خطوط بيانات من الدرجة الإنتاجية، مع ضمان الموثوقية والأداء
  

  
  

• أتمتة سير العمل باستخدام أباتشي إيرفلو و/أو جينكينز
  

  
  

• التعاون مع فرق متعددة التخصصات لدمج حلول البيانات في أنظمة الإنتاج
  

  
  

• كتابة وصيانة اختبارات الوحدة لضمان جودة الكود وموثوقيته
  

  
  

• إدارة الشيفرة المصدرية، CI/CD، والنشر باستخدام جيت، جيت هاب، وإجراءات جيت هاب
  

  
  

• إجادة قوية في بايثون
  

  
  

• خبرة عملية واسعة مع أباتشي سبارك (باي سبارك)
  

  
  

• خبرة في العمل مع دفاتر جوبتر
  

  
  

• معرفة قوية بـ قواعد بيانات SQL وNoSQL
  

  
  

• خبرة مثبتة مع جيت للتحكم في الإصدارات وCI/CD
  

  
  

• خبرة عملية مع أباتشي إيرفلو و/أو جينكينز لجدولة وأتمتة
  

  
  

• فهم قوي لـ أفضل ممارسات هندسة البيانات في بيئات الإنتاج
  

  
  

• خبرة مثبتة في تحسين أداء سبارك
  

  
  

• القدرة على كتابة كود بايثون نظيف وقابل للاختبار والصيانة
  

  
  

• تجربة سابقة في الإنتاج أمر ضروري، تحديداً في نشر، وضبط، وصيانة خطوط البيانات في بيئات الإنتاج
  

  
  

• خبرة في العمل في بيئات بيانات ضخمة أو عالية الحجم
  

  
  

• مهارات قوية في حل المشكلات والتحليل
  

  
  

• القدرة على العمل بشكل مستقل في بيئة سريعة الخطى
  

  
  

• حزمة راتب تنافسية
  

  
  

• فرصة للعمل على منصات بيانات على نطاق الإنتاج
  

  
  

• التعرض لأدوات وممارسات هندسة البيانات الحديثة
  

  
  

• وظيفة مقرها دبي في بيئة عمل ديناميكية وتعاونية