Functie
Functieomschrijving
Je werkt als senior Data Engineer aan een centrale, herbruikbare en beheersbare inrichting op een Cloud Data Platform (Azure/Databricks) voor het ontsluiten, verrijken en beschikbaar maken van publieke databronnen voor intern hergebruik. Voorbeelden van dergelijke bronnen zijn open.overheid.nl, parlementaire data en andere openbare datasets.
Taken en verantwoordelijkheden
Inventarisatie: in kaart brengen van relevante publieke databronnen, technische ontsluitingsmogelijkheden en de behoeften van afnemende teams en applicaties.
Data-ingestie: ontwerpen en realiseren van robuuste data-ingestie naar het Cloud Data Platform, inclusief API-gebaseerde en andere open bronnen.
Data-opwerking: opschonen, transformeren, verrijken en structureren van data voor herbruikbaarheid en consistentie.
Pipelines: inrichten van herhaalbare data-pipelines in Azure/Databricks met foutafhandeling, logging, monitoring en herstelbaarheid.
Dataservices: datasets beschikbaar maken voor verschillende gebruiksscenario’s (analyses, dashboards, AI-toepassingen, verdere dataverwerking).
Standaarden en governance: bijdragen aan afspraken over datamodellering, metadata, documentatie, kwaliteit en beheer.
Stakeholderafstemming: afstemmen met betrokken stakeholders en samenwerken met platform-, architectuur- en andere teams.
Richting en kennisdeling: mede bepalen van technische keuzes binnen het team en kennis overdragen aan collega’s.
Afbakening
De opdracht richt zich op het centraal ontsluiten van publieke databronnen binnen het Cloud Data Platform voor intern hergebruik. Exacte invulling en prioritering worden per sprint of iteratie met het team bepaald.
Vereisten
Opleiding: WO werk- en denkniveau, bij voorkeur informatica, data engineering of software engineering.
Ervaring: minimaal 5 jaar als Data Engineer of vergelijkbare rol.
Cloud & tooling: aantoonbare ervaring met ontwerpen en bouwen van data-pipelines en integraties in een cloudomgeving, bij voorkeur Microsoft Azure.
Technisch: ervaring met Databricks, Spark, Python en SQL.
Data-ontsluiting: ervaring met ontsluiten en verwerken van data uit externe bronnen (REST API’s, open datasets, bestanden in verschillende formaten).
Data-opwerking: ervaring met opschonen, transformeren en modelleren van data voor hergebruik.
Robuustheid: ervaring met inrichten van onderhoudbare en herhaalbare oplossingen, inclusief monitoring, foutafhandeling en documentatie.
Methodiek: ervaring met werken in een Agile/sprintteam.
Persoonlijk: zelfstandig technische vraagstukken oppakken en goed samenwerken met collega’s uit verschillende disciplines.
Communicatie: in staat om technische keuzes helder toe te lichten aan teamleden en stakeholders.
Eisen
- Kandidaat beschikt over WO werk- en denkniveau
- Kandidaat heeft minimaal 5 jaar werkervaring als Data Engineer of in een vergelijkbare rol
- Kandidaat beschikt over kennis van data-engineering in Microsoft Azure, waaronder het ontwerpen en/of bouwen en/of beheren van dataoplossingen en/of het werken met gangbare programmeer- en querytalen
- Kandidaat heeft ervaring met het ontsluiten en/of combineren en/of verwerken van data uit externe bronnen binnen een Azure-omgeving (zoals via API’s, databestanden en andere gegevensbronnen in verschillende formaten)
Gunningscriteria
- Kennis en ervaring met Azure Databricks, Spark, Python, SQL en het bouwen van robuuste, herhaalbare data-pipelines inclusief monitoring en foutafhandeling.
- Ervaring met ontsluiten, opschonen, transformeren en beschikbaar maken van publieke of externe databronnen voor meervoudig intern gebruik, bij voorkeur in een complexe of overheidscontext.
- Senioriteit in zelfstandig complexe data-vraagstukken oppakken, samenwerken met stakeholders, technisch richting geven en kennisoverdracht aan teamleden.
- Ervaring of affiniteit met de organisatie van de opdrachtgever.
- Pré’s
- Ervaring met andere Azure Data Platform-componenten zoals Azure Storage en Data Factory.
- Ervaring met Delta Lake, medallion-architectuur of vergelijkbare patronen voor dataopwerking.
- Ervaring met publieke of overheidsdatabronnen (bijv. open.overheid.nl, parlementaire data).
- Ervaring met metadata, lineage en documentatie van datasets.
- Ervaring binnen een overheidsorganisatie of in een omgeving met hoge eisen aan beheer, beveiliging en herbruikbaarheid.
- Mate waarin de kandidaat kennis heeft van Azure Databricks, Spark, Python, SQL en het bouwen van robuuste, herhaalbare data-pipelines, inclusief monitoring, foutafhandeling en beheerbaarheid
- Mate waarin de kandidaat ervaring heeft met het ontsluiten, opschonen, transformeren en beschikbaar maken van publieke of externe databronnen voor meervoudig intern gebruik, bij voorkeur in een overheidscontext of vergelijkbare complexe omgeving
- Mate waarin de kandidaat beschikt over de gevraagde competenties en senioriteit, zoals zelfstandig complexe data-vraagstukken oppakken, samenwerken met verschillende stakeholders, technisch richting geven en kennis overdragen aan teamleden
- Mate van ervaring en/of affiniteit met de organisatie van de opdrachtgever
- Ervaring met Azure Data Platform-componenten naast Databricks, zoals Azure Storage en Data Factory
- Ervaring met Delta Lake, medallion-architectuur of vergelijkbare patronen voor dataopwerking
- Ervaring met publieke of overheidsdatabronnen, zoals open.overheid.nl, parlementaire data of andere open data-voorzieningen
- Ervaring met metadata, lineage en documentatie van datasets
- Ervaring binnen een overheidsorganisatie of in een omgeving met hoge eisen aan beheer, beveiliging en herbruikbaarheid
Extra informatie
Competenties
Minimaal WO-werk- en denkniveau, bij voorkeur in een relevante richting zoals informatica, data engineering of software engineering
Minimaal 5 jaar ervaring als Data Engineer of in een vergelijkbare rol
Aantoonbare ervaring met het ontwerpen en bouwen van data-pipelines en data-integraties in een cloudomgeving, bij voorkeur Microsoft Azure
Ervaring met Databricks, Spark, Python en SQLErvaring met het ontsluiten en verwerken van data uit externe bronnen, zoals REST API’s, open datasets en bestanden in verschillende formaten
Ervaring met het opschonen, transformeren en modelleren van data voor hergebruik door verschillende afnemers
Ervaring met het inrichten van robuuste, onderhoudbare en herhaalbare oplossingen, inclusief monitoring, foutafhandeling en documentatie
Kennis van data-architectuur, datamodellering en datakwaliteit
Ervaring met werken in een Agile/sprintteam
In staat om zelfstandig technische vraagstukken op te pakken
In staat om goed samen te werken met collega’s uit verschillende disciplines
Goede communicatieve vaardigheden
In staat om technische keuzes helder toe te lichten aan teamleden en stakeholders
Je sollicitatie dient uiterlijk 28 september 2026 om 08:35 uur door ons te zijn ingediend, voorzien van een motivatie (waarin wordt toegelicht hoe aan de eisen en gunningscriteria wordt voldaan) en twee referenties. Wij ontvangen je gegevens graag minimaal één werkdag vóór de sluitingsdatum.
