مهندس بيانات

الغرض من الوظيفة هو تصميم وتطوير وإدارة حلول البيانات باستخدام تقنيات ETL مثل أزور داتابريكس (ADB) وأزور داتا فاكتوري (ADF)، والعمل مع قواعد بيانات NoSQL مثل كوزموس DB، وتطبيق مبادئ البرمجة الكائنية (OOP) من خلال C#/.NET لتكامل البيانات القابل للتوسع وخدمات الخلفية.
المهام والمسؤوليات: • تطوير داتابريكس: بناء وإدارة دفاتر ملاحظات داتابريكس باستخدام SQL وPySpark ضمن إطار عمل قابل لإعادة الاستخدام.
• تطوير ETL: تصميم وصيانة خطوط تكامل البيانات في أزور داتا فاكتوري.
• إتقان قواعد البيانات: معرفة قوية بـ SQL وخبرة مع قواعد البيانات العلائقية مثل SQL Server وMySQL، إلخ.
• واجهة برمجة التطبيقات / طبقة تبادل البيانات: تطوير وإدارة خدمات الخلفية في C#/.NET، مستضافة على خدمة تطبيقات أزور.
• خبرة NoSQL: العمل مع كوزموس DB أو مونغو DB (المستندات والمجموعات)، بما في ذلك مفاهيم مثل الفهرسة، والتقسيم، وتغذية التغيير، والتقليل من الحمل، إلخ.
• CI/CD وإدارة الإصدارات: استخدام خطوط أنابيب DevOps لنسخ الشيفرة، والاختبار الآلي، والإصدار.
• التعامل مع بيانات السلاسل الزمنية: الاستفادة من أزور داتا إكسبلورر (ADX) لبيانات السلاسل الزمنية، مع معرفة بالعرض المادي، والتقسيم، وسياسات التخزين المؤقت.
• البث المباشر (مفضل): فهم أساسي لمركز أحداث أزور، بما في ذلك التجميع، والمواقع / نقاط التفتيش، ومعالجة الحمولة، والتقليل من الحمل.
• إلمام بمنصة السحابة (مفضل): التعرض لخدمات أزور السحابية وأفضل ممارسات الهندسة المعمارية.
المسؤوليات الرئيسية / التحديات الكبرى: • ترجمة متطلبات الأعمال إلى حلول تقنية بالتعاون مع فريق PMO.
• امتلاك تسليم مشاريع البيانات من البداية إلى النهاية، مع ضمان التنفيذ في الوقت المحدد والامتثال لمعايير الجودة.
• تصميم الهندسة المعمارية التقنية وتوجيه جهود التطوير للتحسينات والمشاريع الجديدة.
• تطوير وصيانة خطوط ETL قوية ووحدات تكامل البيانات عبر الأنظمة.
• ضمان جودة البيانات العالية، واستقرار المنصة، وحل المشكلات الحرجة في العمليات.
• مراقبة وحل اختناقات الأداء في تدفقات البيانات والبرامج.
• إنشاء أفضل الممارسات، وإجراءات التشغيل القياسية، ودفع تنفيذها عبر الفرق.
• العمل كحلقة وصل مع مستخدمي الأعمال ومديري المنتجات لدعم الاحتياجات اليومية للبيانات والمبادرات الاستراتيجية.
• التنسيق مع الفرق الداخلية والخارجية للتطوير لحل المشكلات بكفاءة.
• إدارة عبء العمل من خلال التخطيط الفعال، وتحديد الأولويات، وتتبع التقدم.
• موازنة جداول التطوير مع التسليم في الوقت المحدد في بيئة تقنية ديناميكية ومتطورة.
• التنسيق مع أصحاب المصلحة الداخليين والخارجيين المتعددين لتوحيد الأولويات، وحل الاعتماديات، وضمان التنفيذ السلس.
• ضمان جودة الشيفرة، وسلامة البيانات، والأداء أثناء توسيع حلول البيانات عبر أنظمة ومنصات متنوعة.
القرارات الرئيسية / الأبعاد: • اتخاذ قرارات حاسمة أثناء مشكلات الإنتاج، بما في ذلك تحليل السبب الجذري، والإصلاحات السريعة، والحلول طويلة الأجل.
• تحديد أولويات المهام الداعمة وتصعيدها بفعالية لتقليل وقت التوقف وتأثير الأعمال.
• دفع القرارات المتعلقة بالتصميم الفني، والهندسة المعمارية، والتحسين لضمان الأداء، والقابلية للتوسع، وقابلية الصيانة للحلول.
المؤهلات والخبرة المطلوبة: المؤهلات التعليمية: • خريج أو دراسات عليا في علوم الحاسوب، أو تكنولوجيا المعلومات، أو علوم البيانات / التقنيات.
الخبرة العملية: • 0.5-1 سنة من الخبرة العملية في هندسة البيانات.
• الخبرة الفنية / المهارات: كلمات رئيسية: أزور داتابريكس - PySpark، SQ - يجب أن تكون موجودة • أزور داتا فاكتوري - لتكامل البيانات وETL - يجب أن تكون موجودة • تنفيذ مفهوم OOPS في C#/.NET • قاعدة بيانات كوزموس لقواعد بيانات NoSQL • مركز الأحداث وكافكا لتغذية التغيير والبث المباشر - من الجيد أن تكون موجودة • أزور داتا إكسبلورر كقاعدة بيانات زمنية مع لغة استعلام كوسط (KQL) كلغة برمجة - من الجيد أن تكون موجودة