Cloudová analytická platforma
Vyvíjíme analytickou platformu postavenou na cloudové infrastruktuře Microsoft Azure. Klíčovou technologickou komponentou pro zpracování dat je služba Azure Databricks, ve které probíhá implementace všech datových transformací.
Platforma je navržena pro zpracování dat z různých systémů, včetně Apache Kafka, relačních databází a SAP. Využíváme vlastní PySpark frameworky zaměřené na orchestraci datových toků, správu metadat, ETL procesy a kontrolu kvality dat. Architektura řešení odpovídá konceptu medailónové struktury (bronze, silver, gold vrstvy), která umožňuje efektivní správu jak dávkového, tak i real-time zpracování dat. Cílem platformy je podpořit pokročilou analytiku a poskytnout spolehlivý základ pro práci s daty.
- Místo pracoviště
- Praha / Hybridní režim
- Odvětví
- Energetika
- Velikost týmu
- 31-40 lidí
- Cílový trh
- CZ
- Jazyk
- Čeština
- Technologie
- Apache Kafka, Azure Databricks, Microsoft Azure, PySpark, SAP
- Kompetence
- Vývoj software na zakázku
Garant projektu
Martin Oharek
Big Data Engineer / Cloud Engineer
Martin je zkušený datový inženýr se zaměřením na vývoj analytických platforem v prostředí Azure Databricks. V Profinitu se podílí na návrhu a implementaci řešení pro zpracování dat pomocí PySpark frameworků, a to jak v dávkovém, tak real-time režimu.