الأدوار والمسؤوليات
تطوير دفاتر ملاحظات داتابريكس، والوظائف، وسير العمل لتكرار وتعزيز خطوط أنابيب وتحولات DB2/Guidewire.
تنفيذ جداول وأنماط Delta Lake (برونز/فضي/ذهبي، ACID، السفر عبر الزمن، تطور المخطط) للبيانات المهاجرة.
دمج داتابريكس مع AWS/S3 أو Azure ADLS، ADF/Synapse، Key Vault، وSnowflake حسب الحاجة.
تحسين مجموعات داتابريكس، والوظائف، والاستعلامات من أجل الأداء والتكلفة.
تنفيذ التحميلات التزايدية، وأنماط CDC، وجداول الدفعات لمجموعات البيانات الكبيرة.
التعاون مع فرق Snowflake وdbt لضمان نماذج بيانات متسقة وعقود بيانات.
المشاركة في التحقق من البيانات والمصالحة بين DB2 400 / Guiderwire ومخرجات داتابريكس.
اتباع معايير الترميز، والتحكم في الإصدارات، وممارسات CI/CD باستخدام Git/Azure DevOps.
تقديم إصلاحات الأخطاء والدعم خلال SIT/UAT واستقرار ما بعد الإطلاق.

الخبرة:

فك الغموض عن الأنظمة القديمة والتحميل (DB2/400 وGuidewire)
8+ سنوات من الخبرة في داتابريكس مع فهم نماذج البيانات القديمة المعقدة وإدخال تلك البيانات إلى السحابة:
استخراج DB2/AS400: خبرة في التقاط البيانات المتغيرة (CDC) أو الاستخراجات المجدولة من DB2 إلى تخزين السحابة. يتضمن العمل من خلال اتصالات JDBC، ورسم خرائط اعتماد الجداول، وإعادة منصة SQL القديمة إلى معايير الحوسبة الموزعة.
التعامل مع بيانات Guidewire: التكامل مع الوصول إلى بيانات Guidewire السحابية (CDA) أو InsuranceSuite لتكرار مخططات التأمين المعقدة P&C (الممتلكات والحوادث). يقوم المهندسون الكبار بتحليل هذه القواعد البيانية التشغيلية عالية التنظيم وتحويلها إلى مخططات صديقة للتحليل في السحابة.
2. تطوير العمارة وخط الأنابيب
تتضمن جوهر الخبرة الانتقال من هذه المتاجر القديمة المعتمدة على الصفوف إلى بنية Medallion القابلة للتوسع (طبقات برونزية، فضية، ذهبية):
تحسين Delta Lake: استخدام داتابريكس وApache Spark لبناء خطوط أنابيب ETL/ELT مع معاملات ACID. يتعامل المهندسون الكبار مع تطور المخطط، والتحديثات، والأبعاد المتغيرة ببطء (SCD Type 2).
إعادة هيكلة منطق الأعمال: ترجمة التعليمات البرمجية الإجرائية القديمة الصارمة (مثل منطق RPG/COBOL، والإجراءات المخزنة) إلى أنماط موزعة قابلة للتوسع (PySpark، Spark SQL، وScala).
3. حوكمة البيانات والمراقبة
من المتوقع أن يقوم المهندس الكبير بحوكمة كميات هائلة من البيانات الواردة والمولدة عبر المؤسسة:
كتالوج الوحدة: تنفيذ حوكمة بيانات صارمة، وتتبع النسب، وأمان على مستوى الجدول.
جودة البيانات: أتمتة أطر التحقق من البيانات لضمان انتقال سلس من الأنظمة القديمة إلى الأنظمة الحديثة دون فقدان أو فساد البيانات.
4. التكامل مع نظام داتابريكس البيئي
الانتقال من التخزين الأساسي إلى الاستفادة من القوة الكاملة لمنصة داتابريكس لذكاء البيانات:
الحوسبة بدون خادم: إدارة موارد داتابريكس بدون خادم، وضمان حجم مجموعات مثالي، وتقليل تكاليف الحوسبة.
سير العمل المتدفق والدفعي: بناء خطوط أنابيب مدفوعة بالحدث باستخدام ميزات مثل داتابريكس Auto Loader لإدخال الملفات المسطحة والسجلات المتدفقة مباشرة إلى جداول Delta.