إذا كنت ترغب في أن تكون جزءًا من شيء خاص، لتكون جزءًا من فريق ناجح، لتكون جزءًا من فريق ممتع - الفوز هو المتعة. نحن نتطلع لتوظيف مهندس بيانات رئيسي في بوني، الهند. في إيتون، جعل عملنا مثيرًا وجذابًا وذو مغزى؛ وضمان السلامة، والصحة، والرفاهية؛ وأن نكون نموذجًا للإدماج والتنوع هي بالفعل جزء من من نحن - إنها في قيمنا، جزء من رؤيتنا، وأهدافنا الطموحة المحددة بوضوح. توفر هذه الوظيفة المثيرة فرصة لـ:

• يعتبر مهندس البيانات الأول دورًا محوريًا ضمن مركز بيانات المالية ومنصة البيانات المؤسسية، يركز على وضع المعايير، وبناء الأطر، وتعزيز قدرات الهندسة عبر منظمة البيانات.
• بدلاً من تقديم الميزات فقط، تحدد هذه الوظيفة وتوثق المبادئ والممارسات لبناء واختبار ونشر ومراقبة وإدارة خطوط بيانات في بيئة DataOps الحديثة وشبكة البيانات.
• يمتد التأثير إلى ما هو أبعد من خطوط الأنابيب الوظيفية، مما يخلق أساسًا قابلاً لإعادة الاستخدام يمكّن كل عضو في فريق البيانات من تقديم منتجات بيانات عالية الجودة بكفاءة وثقة.
• يأتي المرشح المثالي بخبرة تقنية عميقة، وعقلية هندسية للمنصات، وقيادة قوية لدفع اعتماد المعايير الجديدة، مع نهج مستقبلي نحو هندسة البيانات المعززة بالذكاء الاصطناعي.
• تكون هذه الوظيفة مسؤولة مباشرة عن وضع وتوثيق ودفع اعتماد ستة أطر هندسية أساسية ستحدد نموذج تشغيل هندسة البيانات لمركز بيانات المالية:
• ستحدد هذه الوظيفة وتوثق الممارسات الرائدة عبر دورة حياة البيانات الكاملة - بما في ذلك
• إطار DataOps لنشر خطوط الأنابيب المدفوعة بـ CI/CD، واختبار الوحدات الآلي،
• إطار جودة البيانات مع اختبار عقود البيانات، والتحقق من المخططات، واكتشاف الشذوذ،
• معيار المراقبة للبيانات لتتبع النسب، ومراقبة النضارة، واستجابة الحوادث،
• معيار نمذجة البيانات المتوافق مع أنماط الميدالية أو الأبعاد مع قواعد التسمية وأدلة الأسلوب،
• إطار حوكمة البيانات والتحكم في الوصول الذي يغطي التصنيف، والتعتيم، والوصول القائم على الأدوار، و
• مكتبة نمط تصميم خطوط الأنابيب من قوالب ELT/ETL القابلة لإعادة الاستخدام، والموحدة، والقابلة للاختبار.

المتطلبات :

• بكالوريوس / ماجستير في الهندسة الكهربائية / الإلكترونيات / علوم الكمبيوتر
• 10+ سنوات
• تسليم شامل لخطوط بيانات الإنتاج على نطاق المؤسسة: الإدخال، والتحويل، والتنسيق، وطبقات الخدمة. إتقان قوي في SQL وPython
• خبرة في كل من أنماط الدفعة والتدفق
• قيادة تقنية في بيئة متعددة الوظائف - وضع المعايير، وتوجيه المهندسين، وإجراء مراجعات التصميم، والتأثير على اتجاه الهندسة دون الحاجة بالضرورة إلى تحمل لقب إدارة مباشر
• خبرة عملية عميقة في Snowflake: مشاركة البيانات، النسخ بدون نسخ، الجداول الديناميكية، التدفقات والمهام، تصميم RBAC، سياسات الوصول إلى الصفوف، التعتيم الديناميكي، حجم المستودع، وتحسين الاستعلام. شهادة Snowflake هي ميزة قوية
• إجادة استخدام GitHub للتحكم في النسخ، وسير عمل طلبات السحب، وإجراءات GitHub لأتمتة CI/CD. خبرة في تصميم استراتيجيات التفرع وخطوط الأنابيب للاختبار / النشر الآلي لأحمال البيانات
• خبرة عملية في بناء أدوات التحويل - النماذج، والاختبارات، والماكرو، والحزم، والمصادر، والتعرضات. خبرة أو معرفة في Coalesce هي ميزة. فهم تنسيق DAG القائم على التحويل
• قام ببناء أو اعتماد أطر اختبار وحدات آلية قابلة لإعادة الاستخدام لخطوط البيانات أو نماذج التحويل. يفهم مفاهيم هرم الاختبار في سياق البيانات: الاختبارات الوحدوية، والاختبارات التكاملية، واختبارات العقود
• قام بتصميم وتنفيذ أطر RLS على مستوى المنصة (مثل، سياسات الوصول إلى الصفوف في Snowflake). يفهم تقاطع سياسة حوكمة البيانات وإنفاذ المنصة
• قام بتنفيذ أطر مراقبة جودة البيانات وأدوات المراقبة في بيئات الإنتاج
• فهم قوي لهندسة الميدالية (برونزية / فضية / ذهبية)، ونمذجة الأبعاد (مخطط نجمي، أنواع SCD)، وأنماط النمذجة الحديثة للبحيرات / المستودعات. قام بنشر أو فرض معايير النمذجة
• قاد أو ساهم بشكل كبير في مبادرة تحديث هندسة البيانات - إعادة منصة، تقليل وقت الدورة، أو اعتماد أدوات حديثة. يمكنه توضيح النتائج قبل / بعد مع مقاييس
• قام بتجربة أو إنتاج أدوات GenAI لتعزيز سير عمل هندسة البيانات - مساعدي التعليمات البرمجية بالذكاء الاصطناعي، توثيق مدعوم من LLM، استعلامات اللغة الطبيعية، أو تحليل الشذوذ المدفوع بالذكاء الاصطناعي.

1. تأليف الأطر وقيادة اعتمادها

تصميم وتوثيق والتحكم في إصدار جميع الأطر الهندسية الستة في مستودع المعايير المركزي (GitHub)، مما يضمن أنها مستندات قابلة للاكتشاف، حية مع إدارة تغيير واضحة.

إجراء جلسات تمكين الأطر، وورش العمل، وبرمجة الزوجين لدفع الاعتماد النشط - ليس فقط النشر - عبر فريق الهندسة.

تحديد معايير التوافق ونقاط مراجعة خفيفة حتى يتم تقييم العمل الجديد على خطوط الأنابيب وفقًا لمعايير الأطر قبل الترويج للإنتاج.

التصرف كسلطة تقنية ومرجح في قرارات تصميم الهندسة - إنشاء أنماط متسقة مع الحفاظ على المرونة العملية حيثما كان ذلك ضروريًا.

2. هندسة DataOps وخطوط أنابيب CI/CD

تصميم وتنفيذ خطوط أنابيب CI/CD لأحمال هندسة البيانات باستخدام GitHub Actions أو ما يعادلها - تغطي مراحل التنسيق، واختبار الوحدات، والتحقق من المخططات، وترقية البيئة.

إنشاء أنماط اختبار وحدات آلية - بما في ذلك معايير تغطية الاختبار وتقارير التغطية.

3. هندسة جودة البيانات والمراقبة

تنفيذ أطر عقود البيانات عند حدود الإدخال، والتحويل، والاستهلاك - تحديد المخططات، وSLOs، ونطاقات القيم المقبولة كرمز.

بناء قوالب مراقبة جودة البيانات القابلة لإعادة الاستخدام - قابلة للمعلمة وقابلة للتجميع عبر منتجات البيانات.

تجهيز خطوط الأنابيب ببيانات المراقبة: النسب، ومقاييس وقت التشغيل، وطوابع النضارة، وتغيرات عدد الصفوف - تظهر في لوحات المعلومات التشغيلية.

تصميم واختبار سير عمل استجابة الحوادث لانتهاكات جودة البيانات: التنبيه الآلي، أنماط الحجر الصحي، إشعار أصحاب المصلحة، ومنطق الشفاء الذاتي حيثما كان ذلك ممكنًا.

4. هندسة منصة Snowflake والتحكم في الوصول

تصميم وتنفيذ نماذج RBAC القابلة للتوسع في Snowflake - تغطي الأدوار الوظيفية، وتسلسل ملكية الكائنات، وأدوار مستهلكي منتجات البيانات.

بناء أطر أمان الصفوف (RLS) باستخدام سياسات الوصول إلى الصفوف في Snowflake - إنشاء قوالب سياسات قابلة لإعادة الاستخدام مدفوعة بالبيانات يمكن تطبيقها باستمرار عبر منتجات بيانات المالية.

تحديد وتنفيذ سياسات التعتيم الديناميكي للبيانات المتوافقة مع تصنيف البيانات - لضمان حماية البيانات المالية الحساسة على مستوى المنصة، وليس فقط على مستوى التطبيق.

إدارة استخدام موارد Snowflake: معايير حجم المستودع، وإرشادات تحسين الاستعلام، وتحديد تكاليف التصنيف حسب المجال أو المنتج.

5. هندسة البيانات المعززة بالذكاء الاصطناعي

الترويج لاستكشاف واعتماد أدوات GenAI لتعزيز إنتاجية هندسة البيانات - بما في ذلك توليد التعليمات البرمجية SQL / Python المدعومة بالذكاء الاصطناعي، والتوثيق الآلي، وتصحيح الأخطاء الذكي في خطوط الأنابيب.

تصميم وتقييم مساعدي هندسة البيانات المدعومين بـ LLM: واجهات اللغة الطبيعية إلى SQL، وتوليد عقود البيانات الآلية، وتحليل الأسباب الجذرية للشذوذ المدفوع بالذكاء الاصطناعي.

تحديد الحواجز ومعايير الحوكمة لاستخدام GenAI في سير عمل هندسة البيانات - تغطي متطلبات مراجعة التعليمات البرمجية، ومخاطر الهلوسة في سياقات البيانات، وقابلية تدقيق السجلات.

مشاركة النتائج وتوصيات الأدوات مع مجتمع هندسة البيانات الأوسع من خلال العروض التقديمية الداخلية، والتوثيق، ومقالات المدونة الهندسية.

6. التحديث وزيادة سرعة التسليم

تحديد وإزالة مصادر الاحتكاك الهندسي - الأنماط القديمة، وخطوات النشر اليدوية، والبيئات غير المتسقة - واستبدالها بمعادلات آلية مدفوعة بالمعايير.

قياس والإبلاغ عن تحسينات وقت دورة التسليم الناتجة عن اعتماد الأطر: وقت بناء خطوط الأنابيب، ووقت الإنتاج، ومعدل هروب العيوب، ووقت الاسترداد.

قيادة أو المساهمة في مبادرات تحديث هندسة البيانات: نقل أحمال ETL القديمة، وإعادة منصة إلى Snowflake، واعتماد أنماط التنسيق الحديثة.