SEI - مهندس نقل بيانات (SWP) X 3

مهندس نقل بيانات أول (معدل 22/4/26)

نظرة عامة على الدور
o يعمل مهندس نقل البيانات الأول كمساهم تقني عملي ومرساة تسليم، مسؤول عن تصميم وتنفيذ خطوط أنابيب استخراج/تحميل تعتمد على بايثون، وتحويلات تعتمد على dbt، وتنظيم يعتمد على Airflow لهجرة واسعة النطاق من Informatica PowerCenter إلى مجموعة بيانات حديثة.
o يتطلب هذا الدور خبرة عميقة في تحويل سير العمل المعقدة في Informatica إلى بايثون وdbt وAirflow، والقدرة على تقديم مخرجات معادلة وظيفيًا بجودة إنتاج على نطاق المؤسسات.
المسؤوليات الرئيسية
تقييم سير العمل المعقدة في Informatica بما في ذلك الجلسات، والتخطيطات، والمعلمات وترجمتها إلى نصوص EL بايثون المعادلة ونماذج تحويل dbt.
تطوير وصيانة خطوط أنابيب EL بايثون لنقل بيانات عالية الحجم، بما في ذلك جداول تحتوي على مليارات الصفوف، إلى مستودع الهدف باستخدام SQLAlchemy وcx_Oracle وpyodbc، وأدوات التصدير الجماعي مثل Oracle Data Pump وSQL Server BCP.
تصميم وتطوير نماذج تحويل dbt بناءً على منطق تخطيط Informatica، مع دمج أفضل الممارسات في dbt بما في ذلك طبقات النموذج، والماكرو، والاستراتيجيات التدريجية، وأنماط اللقطة.
تطوير اختبارات أصلية لـ dbt بالإضافة إلى اختبارات وحدة بايثون مخصصة للتحقق من صحة التحويل وجودة البيانات.
تطوير DAGs لـ Airflow لتنظيم نصوص EL بايثون وdbt من البداية إلى النهاية، مما ينتج عنه مخرجات تعادل وظيفيًا سير العمل المصدر في Informatica.
المساهمة في خط أنابيب CI/CD لـ GitLab لكود dbt وAirflow، بما في ذلك بوابات lint، والاختبار الآلي، والنشر إلى NAS المشترك.
إجراء مراجعات كود الأقران وتقديم ملاحظات فنية بناءة للمهندسين الآخرين.
استكشاف مشكلات الأداء والتناقضات في البيانات أثناء SIT وUAT، بما في ذلك تسوية عدد الصفوف بين أنظمة Oracle/SQL Server المصدر ومستودع الهدف.
المساهمة في الوثائق الفنية، وكتب التشغيل، ومواد التسليم.

المهارات والخبرات المطلوبة
5+ سنوات من الخبرة في Informatica PowerCenter - التخطيطات، الجلسات، سير العمل، والمعلمات
3+ سنوات من الخبرة العملية في dbt Core - طبقات النموذج، الماكرو، الاختبارات، المواد التدريجية
3+ سنوات من الخبرة في Airflow - تأليف DAG، تبعيات المهام، والدمج مع أدوات الجدولة
5+ سنوات من الخبرة في بايثون، بما في ذلك الاستخدام الإنتاجي للتوازي ومعالجة البيانات على دفعات
5+ سنوات من الخبرة في SQL - عمليات الانضمام المعقدة، وظائف النوافذ، التجميعات عبر مجموعات بيانات كبيرة
خبرة في Oracle Data Pump (expdp/impdp) أو SQL Server BCP / BULK INSERT لحركة البيانات عالية الحجم

المفضل
خبرة في SQLAlchemy أو cx_Oracle أو pyodbc للاتصال بقاعدة البيانات المعتمدة على بايثون
خبرة في توجيه المهندسين المبتدئين والمتوسطين في نماذج التسليم الخارجية