Data Engineer jest odpowiedzialny za projektowanie, rozwój i utrzymanie rozwiązań integracji danych wspierających procesy biznesowe i analityczne. Rola ta polega na pracy nad procesami ETL/ELT, zapewniając, że dane są dokładnie i efektywnie pobierane, transformowane i ładowane z różnych systemów źródłowych do systemów docelowych.
Zakres obowiązków:
- Rozwój i optymalizacja przepływów danych: Projektowanie, budowanie i utrzymywanie wydajnych, skalowalnych i niezawodnych potoków danych ETL/ELT w celu pozyskiwania, przetwarzania i przekształcania dużych ilości ustrukturyzowanych lub nieustrukturyzowanych danych z różnych źródeł.
- Opracowanie rozwiązań pozyskiwania danych z różnych systemów źródłowych jak noSQL/SQL DB, systemy wsadowe plikowe, systemy transakcyjne, Hurtownie Danych
- Opracowywanie transformacji systemów hurtowni danych do rozwiązań opartych o stos Snowflake
- Opracowywanie i utrzymywanie interfejsów API umożliwiających dostęp do danych i integrację z innymi aplikacjami i usługami.
Wykształcenie:
- Tytuł inżyniera/ licencjata z informatyki, systemów przetwarzania danych, analityki danych lub pokrewnej dziedziny. Tytuł magistra będzie dodatkowym atutem.
Doświadczenie:
- 5 lat doświadczenia w rozwoju ETL, integracji danych lub inżynierii danych
- Znajomość praktyczna narzędzi: DBT, Apache Aiflow