All projects 
ST-01521
AI Engineer – AI Agents & Deployment (m/w/d)
Projektbeschreibung
Unser Kunde ist ein Telekommunikationsunternehmen, das bundesweit Mobilfunk sowie Komplettangebote mit Internet und Telefonie anbietet. Ein Schwerpunkt beim Kunden liegt auf der Entwicklung und Bereitstellung produktiver KI-Agenten und intelligenter Automatisierungslösungen auf Azure und Databricks. Dazu gehört, Large Language Models, Unternehmensdaten und interne Systeme zu integrieren, in Zusammenarbeit mit Data-, Cloud- und Backend-Teams. Ziel ist die Weiterentwicklung zur Data- und AI-driven Company.
Rahmendaten
- Laufzeit: ab sofort bis 31.12.2027 (Verlängerung möglich)
- Einsatzort: Köln, ein bis zwei Tage pro Woche im Büro, ansonsten remote; nach Absprache sind Remote-Anteile bis zu 50 % möglich
- Einsatz als Freelancer oder als fest angestellte Fachkraft des Anbieters
Aufgaben
- Konzeption, Entwicklung und Betrieb produktiver AI-Agent-Lösungen auf Databricks und Azure – vom ersten Prototyp bis zum skalierbaren Deployment
- Entwicklung von KI-Agenten und Multi-Agent-Workflows, die Large Language Models, Unternehmensdaten, APIs und interne Systeme zielgerichtet verbinden
- Implementierung von RAG, Tool Calling und Agent-Orchestrierung sowie Entwicklung wiederverwendbarer Tools, Prompts sowie Zustands- und Kontextkomponenten
- Integration von Azure OpenAI und weiteren Foundation Models in Databricks sowie in bestehende Applikations- und Datenlandschaften
- Entwicklung Python-basierter Agent-Services und APIs sowie deren Integration in bestehende Backend- und Cloud-Architekturen
- Einsatz von Databricks Mosaic AI, Model Serving und MLflow zur Versionierung, Evaluation, Bereitstellung und Überwachung von Modellen und Agenten
- Implementierung von Vector Search, Embeddings und Retrieval-Pipelines für den kontrollierten Zugriff auf relevante Unternehmensdaten
- Orchestrierung von Agenten-, Daten- und Automatisierungsprozessen mit Databricks Workflows und definierten Tool-Zugriffen
- Automatisierung der Bereitstellung mit GitLab CI/CD und Terraform, einschließlich reproduzierbarer Umgebungen, Tests und nachvollziehbarer Releases
- Entwicklung von Evaluationen, Tracing und Monitoring für Antwortqualität, Groundedness, Sicherheit, Latenz, Kosten und Zuverlässigkeit
- Etablierung von Guardrails, Berechtigungskonzepten und Human-in-the-Loop-Prozessen für den verantwortungsvollen Einsatz von AI Agents
- Sicherstellung von Security und Governance mit Unity Catalog, Managed Identities, Key Vault, RBAC, Private Endpoints und Logging
- Enge Zusammenarbeit mit Product Owner, Fachbereichen, Data-, Backend- und Cloud-Teams sowie Security und Privacy bei produktiven Agent-Use-Cases
- Dokumentation von Agentenlogik, Tool-Schnittstellen, Datenflüssen, Architektur, Evaluationsverfahren und Runbooks für den nachhaltigen Betrieb
Anforderungen
- Mehrjährige Erfahrung als AI Engineer, Machine Learning Engineer, Software Engineer oder in einer vergleichbaren technischen Rolle
- Praktische Erfahrung mit LLM-Anwendungen und AI Agents, idealerweise mit RAG, Agent-Orchestrierung, Tool Calling und produktivem Deployment
- Sehr gute Kenntnisse in Python sowie in API-Integration, automatisierten Tests, Code Reviews und modularer Softwareentwicklung
- Fundierte Erfahrung mit Databricks, beispielsweise mit MLflow, Mosaic AI, Model Serving, Vector Search und Unity Catalog
- Gute Kenntnisse der Microsoft-Azure-Plattform, insbesondere Azure OpenAI, Managed Identities, Key Vault, Storage und Networking
- Erfahrung mit Agenten- und LLM-Frameworks, beispielsweise LangGraph, LangChain oder Semantic Kernel, und mit zustandsbehafteten Workflows
- Praktische Erfahrung mit GitLab CI/CD für Testing, Versionierung und automatisierte Bereitstellung von AI-Anwendungen
- Praktische Erfahrung mit Terraform (Infrastructure as Code) für die Bereitstellung von Azure- und Databricks-Ressourcen
- Solides Verständnis von LLMOps, Agent Evaluation und Observability, einschließlich systematischer Qualitätskontrollen
- Kenntnisse in AI Security, Datenschutz und Governance, sicherem Modellzugriff, Guardrails und dem Schutz sensibler Informationen
- Fähigkeit, AI Agents produktiv, zuverlässig und skalierbar bereitzustellen und fachliche Anforderungen in robuste Lösungen zu übersetzen
Wünschenswert##
- Kenntnisse des Model Context Protocol (MCP) und von Mustern zur Multi-Agent- oder Agent-to-Agent-Kommunikation
- Erfahrung mit FastAPI, Docker und Kubernetes für den Betrieb containerisierter Agent-Services und APIs
- Kenntnisse in Spark, SQL, Delta Lake und Databricks Workflows für Datenaufbereitung und KI-gestützte Prozesse
- Erfahrung mit Human-in-the-Loop, strukturierten Ausgaben und kontrollierten Rollouts für AI-Anwendungen
- Erfahrung in regulierten oder datenschutzsensiblen Unternehmensumfeldern