مهندس بيانات

المسؤوليات

• بناء وصيانة خطوط بيانات قابلة للتوسع لمعالجة البيانات الدفعة والبيانات في الوقت الحقيقي.
• العمل مع منصات البيانات ومستودعات البيانات لضمان حلول معالجة بيانات موثوقة وفعالة من حيث التكلفة.
• بناء وصيانة واجهات برمجة التطبيقات REST لتقديم البيانات المعالجة والمجمعة للتطبيقات والفرق اللاحقة.
• التعاون مع الفرق متعددة التخصصات لتحديد متطلبات بنية البيانات والبنية التحتية.
• مراقبة وتحسين أداء خطوط البيانات وقابليتها للتوسع ومرونتها.

المؤهلات المتوقعة

• درجة البكالوريوس في علوم الحاسوب أو الهندسة أو مجال تكنولوجيا المعلومات ذات الصلة.
• خبرة تزيد عن عامين كمهندس بيانات أو في دور مشابه يركز على البيانات.
• مهارات قوية في هندسة البرمجيات.
• خبرة في لغة برمجة Scala أو Java.
• خبرة في لغة برمجة Go تعتبر ميزة.
• خبرة في مفاهيم تكامل البيانات، وأدوات المصدر المفتوح مثل Kafka Connect وDebezium.
• خبرة في أطر معالجة البيانات الكبيرة مثل Apache Spark.
• الإلمام بمعالجة البيانات في الوقت الحقيقي وهياكل البث لتحليلات ذات زمن استجابة منخفض.
• الإلمام بالهياكل الحديثة للبيانات بما في ذلك بحيرات البيانات ومستودعات البيانات (Vertica) وصيغ جداول بحيرات البيانات (Apache Iceberg، Delta Lake).
• خبرة في أدوات تنسيق سير العمل مثل Apache Airflow وDagster أو Prefect.
• إجادة قوية في SQL لتلاعب البيانات والاستعلام والتحسين.
• خبرة في واجهات برمجة التطبيقات RESTful.
• خبرة في قواعد البيانات العلائقية وقواعد البيانات NoSQL.
• خبرة في أطر الاختبار، بما في ذلك اختبار الوحدات والتحقق من جودة البيانات لخطوط البيانات.
• خبرة في تقنيات الحاويات مثل Docker وKubernetes.
• الإلمام بخطوط CI/CD لهندسة البيانات وممارسات البنية التحتية ككود.
• مهارات قوية في حل المشكلات والقدرة على العمل بشكل مستقل وتعاوني.
• مهارات قوية في التواصل باللغة الإنجليزية، كتابة وتحدثًا.

التقنيات المستخدمة

• اللغات: Scala/Java (أساسية)، Go (مفضل)، SQL (متقدم)، Python (مفضل).
• تكامل البيانات: Kafka Connect، Debezium.
• معالجة البيانات: Apache Spark.
• البث والرسائل: Apache Kafka.
• تنسيق سير العمل: Apache Airflow.
• DevOps والبنية التحتية: Docker، Kubernetes، GitLab CI، Terraform.
• تحكم في الإصدارات: Git.