All projects 
ST-01520
Backend & Cloud Engineer – Azure & Databricks (m/w/d)
Projektbeschreibung
Unser Kunde ist ein bundesweit tätiger Anbieter von Mobilfunk sowie Komplettangeboten mit Internet und Telefonie. Gegenstand des Projekts ist die Weiterentwicklung der cloudbasierten Daten- und Anwendungsarchitektur auf Azure und Databricks. Schwerpunkte sind die Konzeption und Entwicklung robuster Backend-Services, automatisierter Deployments und einer sicheren Cloud-Infrastruktur. Damit unterstützt das Projekt die Entwicklung des Kunden zu einer Data- und AI-driven Company.
Rahmenbedingungen
- Laufzeit: ab sofort bis 31.12.2027, eine längerfristige Zusammenarbeit ist gewünscht
- Einsatzort: Köln (Rheinauhafen), ein bis zwei Tage pro Woche im Büro, ansonsten remote; nach Absprache bis zu 50 % remote, der Kunde behält sich eine Anpassung dieser Quote vor
- Einsatz als Freelancer oder als festangestellte Mitarbeiterin bzw. festangestellter Mitarbeiter
Aufgaben
- Konzeption, Entwicklung und Betrieb skalierbarer Backend-Services und APIs mit Python auf Microsoft Azure, von der Architektur bis zum produktiven Betrieb
- Entwicklung von REST- und eventbasierten Schnittstellen zur zuverlässigen Kommunikation zwischen Databricks, Datenprodukten, internen Systemen und externen Services
- Entwicklung wiederverwendbarer Backend-Komponenten einschließlich Datenvalidierung, Fehlerbehandlung, Authentifizierung und Autorisierung
- Gestaltung und Betrieb von Azure-Cloud-Architekturen für Anwendungen, Datenverarbeitung und Integrationen mit Databricks
- Automatisierung der Infrastrukturbereitstellung mit Terraform (Infrastructure as Code) und Erstellung wiederverwendbarer Module für Azure- und Databricks-Ressourcen
- Aufbau von GitLab-CI/CD-Pipelines für Build, Testing, Security-Checks, Infrastrukturänderungen und automatisierte Deployments
- Anbindung von Azure Databricks über APIs, Jobs und Workflows an Backend-Services sowie an bestehende Daten- und Anwendungslandschaften
- Implementierung Python-basierter Services und Automatisierungen für API-, Batch- und eventgesteuerte Prozesse
- Containerisierung und Betrieb von Anwendungen mit Docker und Azure Container Apps oder Kubernetes sowie Sicherstellung reproduzierbarer Deployments
- Sicherstellung eines stabilen Betriebs und zuverlässiger Fehleranalysen durch Monitoring, Logging, Tracing und Alerting
- Umsetzung von Security-by-Design mit Microsoft Entra ID, Managed Identities, Key Vault, RBAC und Private Endpoints
- Optimierung von Performance, Skalierbarkeit, Ausfallsicherheit und Cloud-Kosten über Services, Infrastruktur und Datenzugriffe hinweg
- Enge Zusammenarbeit mit Product Owner, Data Engineering, AI Engineering, Cloud-Teams und Security sowie Mitwirkung an Architekturentscheidungen
- Dokumentation von APIs, Architekturen, IaC-Modulen, Deployment-Pipelines und Betriebsprozessen für die nachhaltige Weiterentwicklung und den Betrieb der Lösungen
Anforderungen
- Mehrjährige Erfahrung als Backend Engineer, Cloud Engineer, DevOps Engineer oder in einer vergleichbaren technischen Rolle
- Sehr gute Kenntnisse in Python, API-Design und REST sowie in modularer Softwareentwicklung, automatisierten Tests und Code Reviews
- Fundierte praktische Erfahrung mit Microsoft Azure, insbesondere Compute, Networking, Storage, Identity, Secrets und Monitoring
- Sicherer Umgang mit Terraform (Infrastructure as Code) und Erfahrung mit der automatisierten Bereitstellung von Cloud-Ressourcen
- Sehr gute Kenntnisse in GitLab und GitLab CI/CD, einschließlich Versionsverwaltung, Build- und Deployment-Pipelines
- Fundierte Erfahrung mit Azure Databricks, beispielsweise mit Jobs, Workflows, APIs, Unity Catalog oder Datenintegration
- Erfahrung mit Docker und containerisierten Anwendungen sowie mit Azure Container Apps oder Kubernetes
- Gutes Verständnis verteilter Systeme, Schnittstellen und eventgetriebener Architekturen einschließlich robuster Fehlerbehandlung
- Solides Verständnis von Cloud Security, IAM, RBAC, Private Networking und dem Schutz sensibler Unternehmensdaten
- Erfahrung mit Observability, Logging, Tracing und Monitoring im produktiven Betrieb von Cloud-Anwendungen
- Fähigkeit, fachliche Anforderungen in wartbare, skalierbare Lösungen zu übersetzen und im crossfunktionalen Team eigenverantwortlich zu arbeiten
Wünschenswert
- Erfahrung mit FastAPI, Pydantic und asynchroner Python-Entwicklung
- Kenntnisse in Databricks Asset Bundles, Spark, SQL und Delta Lake sowie in der Entwicklung von Datenpipelines
- Erfahrung mit Azure Event Hubs, Service Bus oder Apache Kafka und asynchroner Nachrichtenverarbeitung
- Grundverständnis von AI-Serving-Infrastrukturen und der sicheren Integration von AI-Agenten über Backend-APIs
- Erfahrung in regulierten oder datenschutzsensiblen Unternehmensumfeldern