Functieomschrijving
Voor Rijksdienst voor Ondernemend Nederland zoeken wij een Data Engineer. Je werkt als Cloud/Data Engineer en draag je actief bij aan de realisatie van schaalbare, efficiënte en veilige data-platforms in de Azure-cloud, waarbij Databricks of Kubernetes een centrale rol speelt. Je werkt binnen een DevOps-team aan oplossingen die techniek, beleid en concrete waarde voor Nederland verbinden.- Je richt de Medallion-architectuur (Bronze, Silver, Gold) in binnen Databricks en vertaalt complexe businesslogica naar helder gestructureerde datasets, bij voorkeur volgens Kimball (dimensioneel modelleren), en bouwt robuuste goud-lagen.
- Je ontwikkelt en onderhoudt robuuste datapijplijnen met Kubernetes, PySpark en SQL en kent de mogelijkheden van Spark Declarative Pipelines (SDP).
- Je ontwerpt modulaire transformaties met dbt en zorgt voor onderhoudbare data-engineering workflows.
- Je optimaliseert platformperformance door juiste inzet van Databricks compute clusters en Delta Lake-optimalisaties zoals partitioning, clustering, Z-ordering en Liquid Clustering.
- Je richt centrale governance in via Unity Catalog, implementeert RBAC en hanteert data security best practices bij de bouw van oplossingen.
- Je automatiseert deployments en streeft naar Engineering Excellence met Databricks Asset Bundles (DABs) voor betrouwbare en reproduceerbare deployments.
- Je instrumenteert, monitort en debugt Databricks-jobs, pijplijnen en platformcomponenten om betrouwbaarheid en observability te waarborgen.
- Je ontwikkelt, indien nodig, backend-API’s met Django en realiseert koppelingen met databases zoals Postgres (pré).
- Je zorgt voor monitoring en logging (bijv. Application Insights, Databricks-metrics) en hebt bij voorkeur ervaring met MLOps en model lifecycle management (pré).
- Je deelt kennis en leidt (interne) medewerkers op, waarmee je aantoonbaar de expertise van teamleden verhoogt.
Je komt te werken binnen het Programma AI van RVO, waarbij je bijdraagt aan opschaling van bestaande data- en AI-oplossingen, het opleiden van medewerkers en het experimenteren met nieuwe toepassingen en technologieën.
Jouw profiel
- Ruime ervaring met Databricks en Azure-ecosysteem en praktische kennis van Kubernetes voor data workloads.
- Aantoonbare ervaring met het inrichten van Medallion-architecturen en dimensioneel modelleren (Kimball).
- Sterke vaardigheden in PySpark, SQL en ervaring met dbt voor transformatie-engineering.
- Affiniteit met Delta Lake-optimalisaties en ervaring met het afstemmen van compute resources voor performance en kosten.
- Kennis van Unity Catalog, RBAC en algemene data security- en governanceprincipes.
- Ervaring met automatisering van deployments (bijv. DABs) en met monitoring/instrumentatie van data-platforms.
- Pré: ervaring met Django en Postgres; pré: ervaring met MLOps en observability tools.
- Je werkt resultaatgericht samen, bent continu op zoek naar verbetering en beheerst de Nederlandse taal professioneel.
Functie eisen
- Je hebt minimaal 4 jaar aantoonbare ervaring met cloud data platforms op Microsoft Azure, inclusief Databricks.
- Je hebt minimaal 3 jaar ervaring in het ontwerpen en realiseren van dataplatformen en datapijplijnen met Kubernetes.
- Je hebt minimaal 3 jaar ervaring in het ontwerpen en uitwerken van een technische data solution architectuur, met aandacht voor governance en security.
- Je hebt minimaal 3 jaar ervaring in het ontwikkelen van datapijplijnen met PySpark en SQL.
Functie wensen
- Je hebt kennis van en ervaring met Microsoft Azure, met name Databricks, Storage, Active Directory en Key Vault. Bij voorkeur was je verantwoordelijk voor de realisatie van (een significant deel van) een data‑platform vanaf initiatie tot implementatie en oplevering; dit kun je aantonen in je cv.
- Je hebt ervaring met het naar productie brengen van modellen en het beheren en schalen daarvan met Azure, Kubernetes en Databricks; het is een pre als je concrete voorbeelden kunt geven.
- Je werkt volgens best practices (CI/CD, testing, versioning, IaC) en kunt dit bij voorkeur onderbouwen met concrete voorbeelden in je cv of motivatie.
- Je kunt collega’s en teamleden laten groeien in data‑engineeringvaardigheden; bij voorkeur onderbouw je dit met concrete voorbeelden in je cv of motivatie.
