الوصف الوظيفي
دور المشروع : مهندس منصة بيانات
وصف دور المشروع : يضع مهندسو منصة البيانات مخطط المنصة ويطبقون التصميم، بما في ذلك مكونات منصة البيانات ذات الصلة. يتعاونون مع مهندسي التكامل ومهندسي البيانات لضمان التكامل المتماسك بين الأنظمة ونماذج البيانات.
المهارات المطلوبة : منصة داتابريكس الموحدة لتحليلات البيانات
المهارات الجيدة : لا يوجد
يتطلب الحد الأدنى من 5 سنوات من الخبرة
المؤهلات التعليمية : 15 سنة من التعليم بدوام كامل
ملخص: نحن نبحث عن مطور داتابريكس كبير ذو مهارات عالية مع خبرة واسعة في بناء وإدارة منصات البيانات الحديثة على أزور باستخدام بنية Lakehouse. يجب أن يكون لدى المرشح المثالي خبرة عملية قوية في باي سبارك وSQL وخدمات بيانات أزور، وسجل حافل في تطوير خطوط بيانات قابلة للتوسع وفعالة.
ستتضمن يومك المعتاد التعاون مع مهندسي التكامل ومهندسي البيانات لضمان التكامل السلس بين الأنظمة ونماذج البيانات، مع معالجة أي تحديات تنشأ خلال عملية التنفيذ. ستشارك في مناقشات مع أصحاب المصلحة لجمع المتطلبات وتقديم رؤى تدفع الهيكل العام لمنصة البيانات، مما يضمن تلبيتها لاحتياجات المؤسسة بشكل فعال. الأدوار والمسؤوليات: - تصميم وبناء وتحسين خطوط بيانات قابلة للتوسع باستخدام داتابريكس وباي سبارك وSQL على أزور.
- تنفيذ بنية Lakehouse لعمليات إدخال البيانات ومعالجتها وتخزينها.
- بناء وإدارة جداول Delta Lake وإجراء تطور المخطط وإصدار النسخ.
- العمل مع تخزين بيانات أزور (ADLS) ومصنع بيانات أزور (ADF) وأزور سينابس لدمج البيانات وتحويلها.
- التعاون مع مهندسي البيانات والمحللين والفرق التجارية لفهم المتطلبات وتصميم حلول بيانات فعالة.
- تحسين أداء خطوط البيانات الكبيرة وحل مشكلات جودة البيانات أو التأخير.
- المساهمة في أفضل الممارسات حول الترميز والاختبار وسير عمل هندسة البيانات.
- توثيق الحلول التقنية والحفاظ على مستودعات الشيفرة.
- من المتوقع أن تكون خبيرًا في المجال.
- تطوير وصيانة الوثائق المتعلقة بهندسة منصة البيانات. المهارات المهنية والفنية: - المهارات الأساسية: إتقان منصة داتابريكس الموحدة لتحليلات البيانات.
- خبرة عملية قوية في باي سبارك وSQL المتقدم لمعالجة البيانات على نطاق واسع.
- خبرة عميقة في منصة داتابريكس بما في ذلك دفاتر الملاحظات والوظائف وDelta Lake.
- خبرة قوية مع خدمات السحابة من أزور: ADLS Gen2 وADF وأزور سينابس وKey Vault، إلخ.
- معرفة بمفاهيم بنية Lakehouse وتنفيذها وإدارتها.
- خبرة في أدوات التحكم في الإصدارات مثل Git وأنابيب CI/CD.
- مهارات ممتازة في حل المشكلات وتصحيح الأخطاء.
- قدرات قوية في التواصل والتعاون عبر الفرق متعددة التخصصات.
- فهم قوي لتقنيات تكامل البيانات وأفضل الممارسات.
- خبرة في الحلول المعتمدة على السحابة وهياكلها.
- إلمام بأطر حوكمة البيانات ومتطلبات الامتثال.
- القدرة على تصميم خطوط بيانات قابلة للتوسع وفعالة. المهارات الجيدة: خبرة في فحص جودة البيانات وأطر التحقق. التعرض لـ DevOps والبنية التحتية ككود (IaC) في بيئات أزور. إلمام بأدوات حوكمة البيانات مثل كتالوج الوحدة أو أزور بورفيو. معرفة بجداول Delta Live (DLT) هي ميزة إضافية. معلومات إضافية: - يجب أن يكون لدى المرشح خبرة لا تقل عن 5 سنوات في منصة داتابريكس الموحدة لتحليلات البيانات.
- هذه الوظيفة مقرها في مكتبنا في حيدر أباد.
- يتطلب 15 سنة من التعليم بدوام كامل.
لقد تمت ترجمة هذا الإعلان الوظيفي بواسطة الذكاء الاصطناعي وقد يحتوي على بعض الاختلافات أو الأخطاء البسيطة.
