Eine Datenpipeline sorgt dafür, dass Daten automatisch von dort, wo sie entstehen, dorthin gelangen, wo sie gebraucht werden. Unterwegs werden sie geprüft, bereinigt und in eine brauchbare Form gebracht. Dieser Beitrag erklärt den Aufbau einer Datenpipeline, die wichtigsten Arten, den Unterschied zur ETL-Pipeline und die ersten Schritte für eine eigene Pipeline.
Was ist eine Datenpipeline?
Eine Datenpipeline (englisch Data Pipeline) ist eine Folge automatisierter Schritte, die Daten von einer Quelle zu einem Ziel bewegen. Am Anfang stehen Rohdaten aus verschiedenen Quellen: ein Onlineshop, ein CRM, eine Buchhaltungssoftware, Sensoren in einer Maschine. Am Ende liegen strukturierte Daten in einem Data Warehouse, einem Data Lake oder direkt in einer Anwendung.
Der praktische Nutzen ist schnell erklärt. Niemand muss mehr Tabellen manuell exportieren, zusammenkopieren und von Hand bereinigen. Die Pipeline erledigt das nach festen Regeln, zu festen Zeiten oder kontinuierlich. Das spart Zeit, und die Ergebnisse sind jedes Mal nach denselben Regeln entstanden.
Pipeline einfach erklärt
Das Bild stammt aus der Leitungstechnik. Wasser fließt durch Rohre, unterwegs sitzen Filter und Pumpen. In einer Datenpipeline fließen Datensätze, und an jeder Station passiert etwas mit ihnen: Sie werden geprüft, umgerechnet oder mit anderen Daten zusammengeführt.
In der Informatik bezeichnet „Pipeline“ allgemein eine Kette von Verarbeitungsschritten, bei der die Ausgabe des einen Schritts die Eingabe des nächsten ist. Eine Datenpipeline kann deshalb sehr klein sein. Ein Skript, das jede Nacht eine CSV-Datei aus der Warenwirtschaft abholt, Leerzeilen entfernt und das Ergebnis in eine Datenbank schreibt, erfüllt die Definition bereits. Größere Unternehmen betreiben viele solcher Pipelines parallel und steuern sie zentral.
Wie funktioniert eine Datenpipeline? Die Stufen
Fast jede Architektur einer Datenpipeline lässt sich auf drei Stufen zurückführen: Aufnahme, Verarbeitung und Ziel. Über allen Stufen liegen Steuerung und Überwachung, also die Frage, wann was läuft und ob es geklappt hat.
Datenquellen und Aufnahme
Datenquellen sind Datenbanken, SaaS-Anwendungen, Dateien, Logfiles, Webformulare oder Geräte. Im ersten Schritt muss die Pipeline Daten extrahieren (Extract). Das geschieht per Datenbankabfrage, über APIs, per Dateiübertragung oder über einen Ereignisstrom. Wie Systeme über Schnittstellen verbunden werden, beschreibt der Beitrag zur API-Integration.
Schon hier fällt eine wichtige Entscheidung. Holt die Pipeline bei jedem Lauf alle Daten ab (Vollladung) oder nur das, was sich seit dem letzten Lauf geändert hat (inkrementell)? Bei großen Datenmengen ist der inkrementelle Weg fast immer schneller und schont die Quellsysteme.
Transformation und Datenverarbeitung
In der Transformation (Transform) werden die Daten in eine nutzbare Form gebracht. Typische Aufgaben sind:
- Bereinigen: Dubletten entfernen, fehlende Werte kennzeichnen, offensichtliche Fehler in Stammdaten korrigieren.
- Standardisieren: Datumsformate, Währungen, Einheiten und Schreibweisen vereinheitlichen.
- Anreichern: Datensätze mit Informationen aus einer weiteren Datenquelle verknüpfen, etwa Bestellungen mit Kundensegmenten.
- Aggregieren: Einzelbuchungen zu Tages- oder Monatswerten zusammenfassen.
- Validieren: Regeln prüfen, zum Beispiel „eine Bestellsumme ist nie negativ“.
Unstrukturierte Daten wie E-Mails, Bilder oder PDF-Dokumente brauchen zusätzliche Schritte. Dazu gehören Texterkennung oder das Herauslösen einzelner Felder, etwa Rechnungsnummer und Betrag aus einer eingescannten Rechnung.
Ziel: Data Warehouse, Data Lake, Anwendung
Der letzte Schritt ist das Laden (Load). Ein Data Warehouse speichert strukturierte, bereinigte Daten für Auswertungen und Business Intelligence. Ein Data Lake nimmt Daten im Rohformat auf, auch unstrukturierte, und dient oft als zentrales Repository für Data Scientists. Viele Unternehmen nutzen beides: den Data Lake als Sammelbecken, das Data Warehouse für geprüfte Kennzahlen.
Das Ziel muss aber kein Speicher sein. Eine Pipeline kann auch eine operative Anwendung versorgen, etwa ein Newsletter-Tool mit neuen Kundensegmenten oder ein Dashboard, das sich laufend aktualisiert.
Arten von Datenpipelines
Welche Art von Datenpipeline passt, hängt vor allem von zwei Fragen ab: Wie schnell müssen die Daten am Ziel sein? Und wo laufen die beteiligten Systeme?
Batch und Streaming
Batch-Pipelines verarbeiten Daten in Paketen zu festen Zeiten, etwa stündlich oder nachts. Sie sind einfach zu betreiben und reichen für Monatsberichte, Buchhaltung oder Lageranalysen völlig aus.
Streaming-Pipelines verarbeiten Ereignisse kontinuierlich, sobald sie entstehen. Das lohnt sich, wenn Verzögerung teuer ist: bei der Betrugserkennung im Zahlungsverkehr, bei Lagerbeständen im Onlineshop oder bei Maschinendaten in der Produktion. Technisch kommen dafür Ereignisplattformen wie Apache Kafka zum Einsatz. Der Betrieb ist aufwendiger, weil die Pipeline ununterbrochen läuft und mit verspäteten oder doppelt gelieferten Ereignissen umgehen muss.
In der Praxis werden beide Formen oft kombiniert. Wenige zeitkritische Datenströme laufen in Echtzeit, der Rest im nächtlichen Batch.
Cloud- und On-Premise-Pipelines
On-Premise-Pipelines laufen auf eigenen Servern. Sie bieten volle Kontrolle, was bei sensiblen Daten wichtig sein kann, verlangen aber eigene Wartung und Kapazitätsplanung.
Cloud-Pipelines nutzen Dienste großer Anbieter wie Amazon Web Services (AWS), Google Cloud Platform oder Microsoft Azure. Ihre Stärke ist die Skalierung: Wächst das Datenvolumen, lässt sich die Rechenleistung ohne neue Hardware anpassen. Verbreitet sind Mischformen, bei denen Daten aus lokalen Systemen in ein Cloud Data Warehouse fließen.
Datenpipeline vs. ETL- und ELT-Pipeline
ETL steht für Extract, Transform, Load. Eine ETL-Pipeline extrahiert Daten, transformiert sie in einem eigenen Verarbeitungsschritt und lädt erst das fertige Ergebnis ins Ziel. So wurden Data Warehouses lange Zeit befüllt.
ELT vertauscht die letzten beiden Schritte. Die Rohdaten werden zuerst geladen, die Transformation passiert im Zielsystem. Dieses Vorgehen hat sich mit leistungsfähigen Cloud Data Warehouses verbreitet. Sie können große Datenmengen selbst umrechnen, und die Rohdaten bleiben für spätere Fragen erhalten.
Der Begriff Datenpipeline ist weiter gefasst. Jede ETL-Pipeline ist eine Datenpipeline, aber nicht jede Datenpipeline arbeitet nach ETL. Eine Pipeline kann Daten auch nur kopieren, ein Ereignis an ein anderes System weiterreichen oder ein Modell füttern, ohne dass am Ende ein Warehouse steht.
| Merkmal | ETL-Pipeline | ELT-Pipeline | Datenpipeline allgemein |
|---|---|---|---|
| Reihenfolge | Extrahieren, transformieren, laden | Extrahieren, laden, transformieren | beliebig, auch ohne Transformation |
| Ort der Transformation | eigener Schritt vor dem Ziel | im Zielsystem | je nach Aufbau |
| Typisches Ziel | Data Warehouse | Cloud Data Warehouse, Data Lake | Warehouse, Lake, Anwendung, Modell |
| Verarbeitung | meist Batch | meist Batch | Batch oder Streaming |
KI-Pipeline: Daten für Modelle und Agenten
Eine KI-Pipeline ist eine Datenpipeline, deren Ziel ein KI-System ist. Beim maschinellen Lernen sammelt sie Trainingsdaten, bereinigt sie, bildet Merkmale und übergibt alles an das Training. Nach dem Training bereitet eine zweite Pipeline neue Daten auf, damit das Modell Vorhersagen treffen kann.
Bei Sprachmodellen und KI-Agenten geht es oft um Dokumente: Handbücher, Tickets, Verträge. Die Pipeline zerlegt sie in Abschnitte, wandelt diese in Vektoren um und speichert sie in einer Vektordatenbank. So findet der Agent später die passenden Stellen (Retrieval-Augmented Generation). Ändert sich ein Dokument, muss die Pipeline den Index aktualisieren. Sonst antwortet der Agent mit veraltetem Wissen.
Für maschinelles Lernen und künstliche Intelligenz gilt deshalb noch stärker als für Berichte: Das Ergebnis ist nur so gut wie die Eingangsdaten. Worauf es dabei ankommt, zeigt der Beitrag zur Datenqualität.
Eine Datenpipeline aufbauen in 6 Schritten
- Zweck klären. Wofür werden die Daten gebraucht: für Business Intelligence, maschinelles Lernen oder einen operativen Prozess? Daraus ergeben sich Ziel, Aktualität und Detailtiefe.
- Datenquellen erfassen. Welche Systeme liefern welche Datentypen, in welchem Format, wie oft und über welche Schnittstelle? Wer ist für jede Datenquelle verantwortlich?
- Batch oder Echtzeit festlegen. Reicht ein nächtlicher Lauf, oder muss die Pipeline Daten kontinuierlich verarbeiten?
- Transformationen beschreiben. Regeln für Bereinigung, Zusammenführung und Berechnung schriftlich festhalten, bevor jemand programmiert.
- Ziel und Speicher wählen. Data Warehouse oder Data Lake, Cloud oder eigener Server, Aufbewahrungsdauer, Zugriffsrechte.
- Betrieb planen. Zeitplan, Monitoring, Alarmierung, Tests und Dokumentation gehören von Anfang an dazu, nicht erst nach dem ersten Ausfall.
Ein Beispiel: Ein Händler möchte jeden Morgen sehen, welche Artikel sich online und im Laden verkauft haben. Die Pipeline holt nachts die Bestellungen per API aus dem Shop und die Kassendaten als Datei aus dem Filialsystem. Sie vereinheitlicht die Artikelnummern, rechnet Retouren heraus und lädt die Tageswerte ins Data Warehouse. Um acht Uhr stehen die Zahlen im Dashboard, ohne dass jemand eine Tabelle angefasst hat.
Tools für Datenpipelines
Es gibt eine Vielzahl von Tools. Grob lassen sie sich nach ihrer Aufgabe ordnen:
- Orchestrierung: Apache Airflow, Dagster oder Prefect steuern, wann welche Aufgabe in welcher Reihenfolge läuft.
- Datenintegration: Dienste wie Fivetran oder Airbyte bringen fertige Konnektoren für viele Datenquellen mit.
- Transformation: dbt beschreibt Transformationen als SQL-Modelle im Warehouse. Apache Spark verarbeitet sehr große Datenmengen verteilt auf viele Rechner.
- Streaming: Apache Kafka und Apache Flink sowie Cloud-Services wie Amazon Kinesis oder Google Pub/Sub.
- Cloud-Plattformen: AWS Glue, Azure Data Factory oder Google Cloud Dataflow bündeln mehrere dieser Aufgaben.
- Workflow-Tools: Für kleinere Datenflüsse zwischen SaaS-Anwendungen reichen oft Werkzeuge wie n8n, die aus der Workflow-Automatisierung kommen.
Bei der Auswahl zählt weniger der Funktionsumfang als das eigene Team. Ein Werkzeug, das im Haus niemand warten kann, macht die Pipeline anfällig.
Best Practices: Monitoring, Datenqualität, Fehlerbehandlung
- Überwachen: Laufzeit, Zahl der verarbeiteten Datensätze und Fehler protokollieren. Liefert eine Quelle plötzlich null Datensätze, sollte ein Alarm kommen.
- Datenqualität prüfen: Nach jedem Schritt testen, etwa auf Pflichtfelder, eindeutige Schlüssel und plausible Wertebereiche.
- Fehler gezielt behandeln: Fehlerhafte Datensätze in einen eigenen Bereich schieben, statt die ganze Pipeline anzuhalten. Läufe so bauen, dass eine Wiederholung keine Duplikate erzeugt.
- Versionieren: Code und Konfiguration in einem Repository verwalten, damit jede Änderung nachvollziehbar bleibt.
- Data Governance: Festlegen, wer auf welche Daten zugreifen darf. Personenbezogene Daten nach den Vorgaben der DSGVO behandeln.
- Klein anfangen: Erst eine Datenquelle sauber anbinden, dann erweitern. Sonst frisst die Wartung mehr Zeit als der Aufbau.
Häufige Fragen zu Datenpipelines
Was ist eine Pipeline in der Informatik?
Eine Kette von Verarbeitungsschritten, bei der die Ausgabe eines Schritts direkt als Eingabe des nächsten dient. Den Begriff gibt es bei Prozessoren, in der Kommandozeile, bei der Softwareauslieferung (CI/CD) und eben bei Daten.
Was ist eine ETL-Pipeline?
Eine Datenpipeline mit drei Phasen: Daten aus Quellsystemen extrahieren, sie transformieren und das Ergebnis in ein Ziel laden, meist ein Data Warehouse. Bei der ELT-Variante wird erst geladen und dann im Zielsystem transformiert.
Kann eine Datenpipeline so einfach sein wie eine Kopie von einer Datei in eine andere?
Ja. Sobald Daten automatisch und wiederholbar von einer Quelle zu einem Ziel wandern, handelt es sich um eine Datenpipeline. Aufwendig wird es erst durch Menge, Tempo, Zahl der Quellen und die Anforderungen an Zuverlässigkeit.
Welche Vorteile bieten Datenpipelines für Unternehmen?
Sie ersetzen manuelle Exporte, liefern Zahlen nach festen Regeln, machen Daten aus verschiedenen Systemen vergleichbar und schaffen die Grundlage für Analysen, Automatisierung und KI. Fehler fallen früher auf, weil jeder Lauf überwacht wird.
Brauche ich Programmierkenntnisse für eine Datenpipeline?
Für einfache Datenflüsse nicht unbedingt. Workflow- und Low-Code-Plattformen bieten fertige Bausteine. Bei großen Datenmengen, komplexen Transformationen oder Streaming kommen Sie ohne SQL und etwas Programmierung aber kaum aus.