DevOps Engineer – Data Platform

Bij CowManager verwerken we dagelijks grote hoeveelheden data uit onze IoT-oorsensoren. Die data helpt melkveehouders wereldwijd om betere beslissingen te nemen over de gezondheid, vruchtbaarheid en het welzijn van hun koeien. Daarachter staat een Azure- en Databricks-platform dat veilig, betrouwbaar en schaalbaar moet zijn. We zoeken een DevOps Engineer die dit platform verder ontwikkelt en de infrastructuur binnen ons dataengineeringteam naar een hoger niveau brengt. Wat ga je doen? Onze Data Engineers verwerken data en maken die beschikbaar voor onze producten en collega’s. Jij zorgt voor de technische basis waarop zij kunnen bouwen. Je automatiseert waar mogelijk, ziet risico’s op tijd en werkt ook samen met DevOps Engineers uit andere teams. Andere werkzaamheden zijn: - Onze Azure- en Databricks-infrastructuur ontwikkelen met Terraform en/of Bicep - CI/CD-pipelines in Azure DevOps of GitHub Actions opzetten en verbeteren - Werken aan netwerkbeveiliging, rollen en rechten en disaster recovery - Herbruikbare templates en kaders maken waarmee andere teams zelfstandig verder kunnen - Meewerken aan een selfserviceomgeving voor BI en analytics - Actief sturen op efficiënt gebruik van het platform door andere teams Waar ligt de technische uitdaging? Er staat al een dataplatform, maar er zijn nog genoeg stappen te zetten. Denk aan de migratie naar Databricks Managed Catalogs, het vastleggen van groepen en rechten in Terraform en het verder inrichten en testen van disaster recovery. Daarnaast werken we aan een omgeving waarin teams zelf data kunnen bevragen en dashboards kunnen maken, onder meer met Databricks Genie. De uitdaging is om de bijbehorende dashboards en pipelines goed te beheren, toegang veilig in te richten en kosten aan projecten en teams toe te schrijven. Ook denk je mee over data governance en de opslag van oudere tijdreeksdata. Dit is een nieuwe rol binnen het data engineering team. Verder zijn we ook bezig om een (data) platform team op te richten. Je krijgt de ruimte om verbeteringen zelf te signaleren en mee te bepalen hoe we het platform en dit team verder kunnen professionaliseren.