min. 3 lata
B2B
Warszawa Śródmieście (Obecnie zdalnie, po COVID-19 biuro w centrum Warszawy)
Elastycznie
1 rok, docelowo longterm
150-160PLN + VAT/h
Klient to międzynarodowa marka produkująca sprzęt, odzież i akcesoria sportowe.
Firma posiada wiele systemów do przechowywania danych wykorzystujących mi technologie Teradata, Hive, S3, Snowflake, bazy relacyjne – znajomość technologii systemów źródłowych nie jest wymagana, będzie dodatkowym atutem.
Na dzień dzisiejszy jednak nie posiada repozytorium opisującego gdzie i jakie dane są przechowywane.
Celem projektu jest stworzenie od podstaw (bazując na wykonanym już POC) aplikacji typu Meta Data Katalog, który będzie centralnym repozytorium informacji o danych jakie są w firmie.
Sam katalog nie będzie przechowywać źródłowych danych, a jedynie ich opis techniczny i biznesowy.
Odbiorcami docelowymi będą analitycy danych, data scientists, data modelerzy i inne osoby w organizacji, które będą musiały zidentyfikować czy i gdzie są przechowywane dane o określonej charakterystyce.
Aplikacja składa się z warstwy
• frontend, w ReactJS,
• backend w Python
• bazy danych: grafowa baza danych TigerGraph
Rekrutujemy developerów Python dla warstwy backend.
Aplikacja w warstwie backend będzie udostępniać dane za pomocą REST API dla warstwy frontend i innych usług w infrastrukturze klienta.
Na chwilę obecna zakłada się, że meta dane będą pobierane z systemów dziedzinowych przez aplikację centralną(pull), docelowo rozważany jest model push, w którym to custom pluginy dedykowane dla określonego systemu dziedzinowego będą wysyłać dane do aplikacji centralnej.
Aby zapewnić odpowiednią wydajność aplikacji, kod będzie napisany z wykorzystaniem programowania wielowątkowego i wieloprocesowego z użyciem standardowych bibliotek Python (threading, multiprocessing, asyncio).
Kod warstwy backend powinien być napisany zgodnie z wybranym zestawem reguł, mi. tak, aby minimalizować błędy związane z typowaniem zmiennych.
Serwisy warstwy backend będą opakowane w kontenery Docker i uruchomione na AWS z wykorzystaniem usług ECR i ECS (procesem tym będzie zajmować się dedykowany zespół DevOps, niemniej wymagana jest podstawowa znajomość usług AWS wspierających pracę z kontenerami oraz load balancing)
Dane będą przechowywane w bazie grafowej, aby mi wspomóc modelowanie i analizę lineage danych.
Projekt będzie prowadzony w metodyce, zwinnej, rola Product Owner, Scrum Master i Team Lead już są obsadzone, znany jest także Architekta wspierający prace projektowe.
Na tę chwilę zakładamy pracę zdalną, niemniej zespół developerski po stronie klienta jest zlokalizowany w Polsce, Product Owner i Architekt, Scrum Master są z US.
Na tę chwilę szacujemy że projekt potrwa do końca roku.