مهندس بيانات (متوسط/كبير)

ما ستقوم به

• بناء بحيرة بيانات مركزية على خدمات بيانات GCP من خلال دمج مصادر البيانات المتنوعة في جميع أنحاء المؤسسة.
• تطوير وصيانة وتحسين خطوط معالجة البيانات المدعومة بـ SPARK. الاستفادة من خدمات بيانات GCP للمهام الهندسية المعقدة وضمان التكامل السلس مع مكونات المنصة الأخرى.
• تصميم وتنفيذ عمليات التحقق من صحة البيانات وجودتها لضمان دقة البيانات واكتمالها وتناسقها أثناء تدفقها عبر خطوط الأنابيب.
• العمل مع فرق علوم البيانات والتعلم الآلي للمشاركة في التحليلات المتقدمة.
• التعاون مع الفرق متعددة التخصصات، بما في ذلك محللي البيانات والمستخدمين التجاريين والفرق التشغيلية والتسويقية، لاستخراج الرؤى والقيمة من البيانات.
• التعاون مع فريق المنتج لتصميم وتنفيذ وصيانة نماذج البيانات لحالات الاستخدام التحليلية.
• تصميم وتطوير وصيانة لوحات بيانات للفرق المختلفة باستخدام Looker Studio.
• المشاركة في استكشاف التكنولوجيا، والبحث والتطوير، وإجراء التحقيقات العميقة وحل المشكلات.
• تصميم وإدارة عمليات ETL/ELT، وضمان سلامة البيانات وتوافرها وأدائها.
• حل مشكلات البيانات وإجراء تحليل السبب الجذري عند وجود تساؤلات حول البيانات المبلغ عنها.

المهارات الفنية المطلوبة

• PySpark
• GCP - Big Query وDataproc وDataflow وDataplex وPub-Sub وCloud Storage
• معرفة متقدمة بـ SQL
• NoSQL (يفضل MongoDB)
• لغات البرمجة - Scala/Python
• Great Expectation - إطار عمل مشابه لجودة البيانات
• فهم أدوات إدارة سير العمل مثل Airflow وPrefect أو Luigi.
• فهم حوكمة البيانات وDWH ونمذجة البيانات

المهارات الجيدة أن تكون لديك

• البنية التحتية كرمز - Terraform
• Docker وKubernetes
• Looker Studio
• معرفة في الذكاء الاصطناعي وهندسة التعلم الآلي