Sr Data Engineer

Functieomschrijving

Voor R.E.T. N.V. zoeken wij een Sr Data Engineer. Je werkt binnen het Data Office-team, onderdeel van IT Services bij de opdrachtgever.
Het team ontsluit en verwerkt data uit uiteenlopende bronnen en stelt deze beschikbaar voor analyse.
Zij zijn verantwoordelijk voor de ontwikkeling en het beheer van CREDO, het centrale data- en analyticsplatform, gebaseerd op een lakehouse-architectuur in Azure met een medallion-structuur en Delta Lake.
Het team werkt nauw samen met data-analisten, data stewards en overige stakeholders om ruwe data om te zetten in dataproducten die direct bijdragen aan de bedrijfsdoelen van de opdrachtgever.
Binnen de Data Community worden best practices, standaarden en architectuurprincipes gewaarborgd, inclusief governance en hoge kwaliteitsnormen.

Als ervaren Data Engineer werk je aan de oplevering van dataproducten en aan de doorontwikkeling en het beheer van CREDO.
Je ondersteunt de migratie naar Microsoft Fabric en werkt op thema’s zoals performance-optimalisatie, datakwaliteit, monitoring en kostenbeheersing.
Je zet met jouw technische expertise schaalbare en efficiënte datapipelines op, zodat de opdrachtgever kan blijven innoveren en groeien in een datagedreven toekomst.

Je levert werkende en gedocumenteerde datapipelines, PySpark-notebooks en datamodellen voor de ontsluiting en verwerking van gestructureerde en ongestructureerde databronnen, passend binnen de doelarchitectuur.

Werkzaamheden

• Je draagt bij aan de verdere ontwikkeling van het CREDO dataplatform en bent verantwoordelijk voor de realisatie van één of meer speerpunten op de roadmap.
• Je implementeert de migratie van CREDO van Synapse naar Microsoft Fabric op basis van de intermediate state en target state architecture, inclusief het omzetten van bestaande pipelines, notebooks en datamodellen.
• Je bouwt en onderhoudt schaalbare datapipelines en PySpark-notebooks binnen de medallion-structuur (bronze, silver, gold) met focus op performance- en kostenoptimalisatie.
• Je implementeert dimensionele datamodellen en ontsluit en verwerkt zowel gestructureerde als ongestructureerde databronnen, ook in complexe bronlandschappen.
• Je voert een data quality framework en checks uit gedurende ETL/ELT-processen om nauwkeurigheid en volledigheid te waarborgen en implementeert data cleansing processen voor bekende datakwaliteitsproblemen.
• Je structureert en beheert het SQL datawarehouse met focus op Azure SQL Database en Fabric Database.
• Je werkt samen met data-analisten om requirements te verzamelen en te vertalen naar technische specificaties voor data-oplossingen.
• Je implementeert en gebruikt CI/CD-pijplijnen voor geautomatiseerde build-, test- en deploymentprocessen, inclusief integratie van quality- en securitycontroles.
• Je analyseert en lost complexe technische problemen op, voert code reviews uit en zorgt voor documentatie en monitoring van opgeleverde oplossingen.
• Je brengt jouw expertise in en borgt deze binnen het Data Office-team en coacht andere data engineers om zowel individueel als in teamverband naar een hoger plan te komen.

Jouw profiel

• Je bent proactief, een zelfstarter en weet je snel te oriënteren in een nieuwe, complexe werkomgeving met uiteenlopende bronsystemen en stakeholders.
• Je hebt meer dan 7 jaar werkervaring als data engineer met ontwikkeling en beheer van een dataplatform in de Azure-cloud en ervaring met Microsoft Fabric en/of Azure Synapse Analytics.
• Je hebt ervaring met het implementeren van oplossingen in complexe omgevingen met meerdere bronsystemen en afhankelijkheden; ervaring met dataproducten gebaseerd op SAP en SuccessFactors is een pré.
• Je kent lakehouse-architecturen en medallion-principes goed.
• Je hebt uitgebreide kennis en minimaal 5 jaar ervaring met dimensionele datamodellering, SQL-programmering en werken met PySpark-notebooks.
• Je hebt ervaring met het standaardiseren en automatiseren van workflows en hebt gewerkt met Azure DevOps, GIT en CI/CD-principes.
• Je hebt ervaring met werken in een agile omgeving en neemt makkelijk de lead bij het vertalen van epics naar features binnen squads.
• Je beschikt over één of meerdere relevante Microsoft Azure-certificeringen passend bij data engineering, zoals Azure Data Engineer Associate (DP-203).

Competenties

• Uitstekende communicatieve vaardigheden en het vermogen om effectief te communiceren met alle niveaus binnen de organisatie.
• Sterk probleemoplossend vermogen: je identificeert snel obstakels en lost deze adequaat op.
• Vermogen om complexe datavraagstukken en technische uitdagingen te analyseren en hiervoor schaalbare, efficiënte oplossingen te ontwerpen.
• Het vermogen om technische teams te ondersteunen en hun vaardigheden te ontwikkelen, vooral in omgevingen waar ervaring met het platform nog beperkt is.