Rekrutacja zdalna
Data Engineer/Senior Data Engineer
Dla jednej z największych instytucji finansowych w Polsce, działającej w branży ubezpieczeniowej, poszukujemy Data Engineera / Senior Data Engineera do pracy przy projektowaniu, rozwijaniu i optymalizacji procesów przetwarzania danych w środowisku Microsoft Fabric.
Wymagania
Minimum 3 lata doświadczenia na stanowisku Data Engineera w projektach produkcyjnych.
Bardzo dobra znajomość Pythona, w tym PySpark, oraz SQL pozwalająca na sprawną pracę z dużymi zbiorami danych.
Praktyczne doświadczenie z co najmniej jedną platformą chmurową do przetwarzania danych: Microsoft Fabric, Azure Synapse lub Databricks.
Znajomość warstwowej architektury danych, np. architektury medalionowej, oraz formatów Delta i Parquet.
Doświadczenie w zespołowej pracy z wykorzystaniem Git.
Umiejętność integrowania różnorodnych źródeł danych, w tym plików Excel dostarczanych przez użytkowników biznesowych.
Gotowość do podpisania NDA oraz przejścia weryfikacji bezpieczeństwa.
Mile widziane
Certyfikat DP-600 lub DP-700.
Doświadczenie w sektorze ubezpieczeniowym, finansowym lub innym środowisku o wysokich wymaganiach audytowych.
Znajomość języka R – model wykorzystuje Python i R.
Praktyczne doświadczenie z CI/CD dla platform danych.
Znajomość frameworków służących do kontroli jakości danych.
Doświadczenie w pracy zgodnej z metodykami Agile i Scrum.
Obowiązki
Projektowanie i implementowanie pipeline’ów w Data Factory oraz notebooków PySpark w Microsoft Fabric.
Podłączanie źródeł plikowych i bazodanowych, wraz z ich walidacją techniczną i standaryzacją formatów.
Transformowanie danych oraz przygotowywanie danych wsadowych.
Implementowanie reguł kontroli jakości danych i mechanizmów raportowania błędów.
Wersjonowanie zestawów danych oraz zapisywanie metadanych przebiegu, takich jak parametry, źródła i wersje.
Praca zgodnie ze standardami Git: przechowywanie kodu pipeline’ów w repozytorium, wdrożenia przez CI/CD oraz udział w code review.
Współpraca z Zespołem Ryzyka przy definiowaniu reguł przekształcania danych.
Zapewnienie zgodności z regulacjami dotyczącymi prywatności i bezpieczeństwa danych.
Integracja firmowych standardów bezpieczeństwa ze środowiskiem Azure.
Optymalizowanie procesów pod kątem wydajności i kosztów.
Oferujemy
Długofalową współpracę na kontrakcie B2B
Kartę Multisport oraz prywatny pakiet medyczny LuxMed
Model hybrydowy: 1 dzień w tygodniu w biurze i 4 dni zdalnie.
Polski
English