תיאור תפקיד: Data Engineer

לארגון מוביל דרוש/ה מהנדס/ת דאטה מנוסה לתפקיד מאתגר הכולל עבודה בסביבת Big Data מתקדמת, עם מערכות וטכנולוגיות עיבוד נתונים בזמן אמת. במסגרת התפקיד:

• פיתוח ותחזוקה של תהליכי ETL מורכבים באמצעות Apache NiFi ו-Apache Spark

• פיתוח תהליכי עיבוד נתונים בזמן אמת בעזרת Apache Kafka

• ניהול, עיבוד וטיוב נתונים על בסיס Elasticsearch

• כתיבת שאילתות מורכבות וייעול ביצועים על גבי בסיסי נתונים רלציוניים ולא רלציוניים

• פיתוח פתרונות דאטה מקצה לקצה, כולל כתיבת קוד ב-Python

• שיתוף פעולה צמוד עם צוותי BI, Data Science ומערכות מידע לצורך תכנון ובניית פתרונות נתונים מתקדמים

דרישות התפקיד:

• ניסיון של לפחות 4 שנים בתפקיד Data Engineer, תוך התמחות מעשית באחד או יותר מהשירותים הבאים:

  • Apache Spark

  • Apache NiFi

  • Apache Kafka

• ניסיון משמעותי בפיתוח בשפת Python לעיבוד נתונים ובניית Data Flows

• הבנה מעמיקה בארכיטקטורת נתונים ותשתיות Big Data, כולל פתרונות לאתגרים בקנה מידה גדול

• שליטה מלאה ב-SQL

יתרון משמעותי ל:

• ניסיון עם MongoDB וכתיבת Aggregation Pipelines

• כתיבת שאילתות SQL מורכבות ואופטימיזציה של ביצועים

• ניסיון עם שירותי Cloud בסביבת GCP

• עבודה עם Kafka

• ידע במודולי AI והטמעתם בתהליכי דאטה

• ניסיון בפיתוח בסביבת Microservices ו-OpenShift בפרט

• עבודה עם כלי ניהול תצורה (CI/CD, Git, Jenkins וכו')