Functieomschrijving
Voor APG zoeken wij een Software Engineer Data Quality Framework. Als Senior Data Quality Framework Developer bouw en verbeter je een data quality framework in Databricks met PySpark en vertaal je data quality-behoeften naar schaalbare, onderhoudbare oplossingen.Je combineert sterke software engineering met platformdenken en draagt verantwoordelijkheid voor de kwaliteit en betrouwbaarheid van de oplossing.
Wat ga je doen
- Ontwerpen, ontwikkelen en verbeteren van een PySpark-gebaseerd data quality framework en herbruikbare validatiecomponenten in Databricks.
- Opzetten en onderhouden van rule-executie, result handling en contract-gedreven validatie.
- Zorgen voor engineeringkwaliteit door refactoring, testing, CI/CD, packaging en releasepraktijken.
- Ondersteunen van Databricks-operaties zoals jobs, alerts, triggers en notificaties en het opzetten van multi-omgeving deployments.
- Samenwerken met stakeholders om requirements te verfijnen en bij te dragen aan documentatie, standaarden en teamcoaching.
Jouw profiel
- Minimaal vijf jaar relevante ervaring in software engineering, data platform engineering of data engineering.
- Uitgebreide kennis van Python en PySpark en een goed begrip van het Spark-framework en optimalisatiepraktijken.
- Ervaring met het ontwikkelen en opereren van Databricks-jobs in productieomgevingen.
- Goed inzicht in softwaredesignprincipes, inclusief objectgeoriënteerd programmeren, modulair ontwerp en onderhoudbare code-architecturen.
- Ervaring met testen, CI/CD en deploymentpraktijken op een grote cloudprovider (bij voorkeur Azure) en werken met meerdere omgevingen.
- Afgeronde opleiding in Computer Science, Software Engineering, Data Engineering of een verwante discipline.
- Sterke communicatieve vaardigheden in het Engels en het vermogen om met een brede groep stakeholders samen te werken.
- Je werkt zelfstandig, bent proactief en neemt eigenaarschap door taken zelfstandig op te pakken.
Wenselijke ervaring
- Ervaring met data quality checks, data quality frameworks, rule engines of metadata-gedreven validatiepatronen.
- Ervaring met het bouwen of onderhouden van herbruikbare frameworkcomponenten, platformservices of shared libraries.
- Kennis van Databricks-alerts, notificaties en triggers.
- Ervaring met Azure DevOps en Artifactory.
- Bekendheid met data contracts, versiebeheer van rules of governance-gerelateerde eisen.
Werkomgeving en samenwerking
Het team van de opdrachtgever is multidisciplinair en verantwoordelijk voor end-to-end levering van oplossingen. Zij werken agile en combineren engineering-, functionele- en platformexpertise om betrouwbare capabilities te leveren die businessprocessen en dataproducten ondersteunen.
Je werkt in flexibele, prestatiegerichte teams met sterke samenwerking en T-shaped vaardigheden.
Functie eisen
- Je werkt tijdens de onboarding volledig op locatie
- Daarna werk je twee dagen per week op locatie
- Eenmaal per maand reis je naar de andere locatie
- Je locatie kan Amsterdam of Heerlen zijn; geef aan welke locatie jouw voorkeur heeft
- Je werkt 40 uur per week
- Je hebt minimaal vijf jaar relevante ervaring in software engineering, data platform engineering of data engineering
- Je beheerst Python en PySpark en hebt goede kennis van het Spark-framework en optimalisatiepraktijken
- Je hebt ervaring met het ontwikkelen en beheren van Databricks-jobs in productieomgevingen
- Je hebt een goed begrip van softwareontwerpprincipes, waaronder objectgeoriënteerd programmeren, modulair ontwerp, onderhoudbare codestructuren en package management
- Je hebt ervaring met testen, CI/CD, deploymentpraktijken en ontwikkelen op een grote cloudprovider (bij voorkeur Azure) binnen omgevingen met meerdere deployment-stadia
- Je hebt een achtergrond in Computer Science, Software Engineering, Data Engineering of een vergelijkbare richting
- Je hebt sterke communicatieve vaardigheden in het Engels en kunt samenwerken met een brede groep stakeholders
Functie wensen
- Je hebt minstens vijf jaar relevante ervaring in software engineering, data platform engineering of data engineering.
- Bij voorkeur heb je ervaring met Azure.
- Het is een pré als je ervaring hebt met datakwaliteitscontroles, datakwaliteitsframeworks, rule engines of metadata-gedreven validatiepatronen.
- Het is een pré als je ervaring hebt met het bouwen of onderhouden van herbruikbare frameworkcomponenten, platformservices of gedeelde libraries.
- Het is een pré als je ervaring hebt met Databricks-alerts, notificaties en triggers.
- Het is een pré als je ervaring hebt met Azure DevOps en Artifactory.
- Bij voorkeur ben je bekend met datacontracten, versiebeheer van regels of governance-gerelateerde vereisten.
