DATA WAREHOUSE: Definition, Architektur, Vorteile

Ein Data Warehouse (deutsch: „Datenlager“) ist eine zentrale Datenbank, in der Daten aus operativen Systemen, externen Quellen sowie historische Daten zusammengeführt und strukturiert werden. Diese Daten werden so aufbereitet, dass Unternehmen fundierte Entscheidungen treffen und ihre Prozesse optimieren können.

Data Warehouses basieren auf einer mehrschichtigen Architektur, die Datenintegration, -speicherung und -analyse ermöglicht. Sie ermöglichen zahlreiche Prozesse, die für datengetriebene Unternehmen von hohem Wert sind. Wie sie genau funktionieren und wie sie von Unternehmen konkret genutzt werden, stellt der folgende Artikel dar.

Bei einem Data Warehouse handelt es sich um ein Speichersystem, das große Datenmengen aus meist heterogenen Quellen zusammenführt. Diese Daten stammen sowohl aus internen operativen Systemen wie beispielsweise ERP- und CRM-Systemen, als auch aus externen Quellen wie IoT(Internet of Things)-Geräten und sozialen Medien. Das Speichersystem verfügt einerseits über aktuelle Daten, die in regelmäßigen Abständen gewonnen und eingespeist werden, andererseits über historische Daten. Für Unternehmen dienen sie somit als zentrale Datenquelle.

Ein Data Warehouse ist für Unternehmen essenziell, um Erkenntnisse aus großen Datenmengen (Big Data) zu gewinnen und ist somit wichtiges Element der Data Science. 

Es unterstützt dabei:

• Daten aus verschiedenen Quellen zu kombinieren und in Beziehung zu setzen,
• Daten im richtigen Format darzustellen,
• und umfassende Datenanalysen durchzuführen.

Übergeordnetes Ziel von Data Warehouses ist es, eine Grundlage für intelligente, datengestützte Unternehmensentscheidungen zu schaffen.

Ein Data Warehouse wird von IT-Teams entwickelt sowie verwaltet und besteht aus mehreren Schichten, die unterschiedliche Aufgaben erfüllen. In der Regel gliedert sich die Architektur in drei Hauptschichten:

1. Unterste Schicht bzw. Datenschicht: Verschiedene Prozesse extrahieren Daten aus diversen Quellen und wandeln sie mithilfe von ETL-Tools um (siehe Infobox). Danach gelangen die Daten in das Data Warehouse.
2. Mittlere Schicht bzw. semantische Schicht: Diese Schicht strukturiert Daten für schnelle, komplexe Abfragen sowie Analysen und nutzt dafür Server des OLAP (Online Analytical Processing) und OLTP (Online Transactional Processing). Zudem werden sämtliche Daten den User*innen in natürlicher Sprache bereitgestellt, um beispielsweise Beziehungen zwischen Datenelementen zu erstellen.
3. Oberste Schicht bzw. Analytische Schicht: Stellt das Frontend dar, über das Nutzende mithilfe von Tools unter anderem Datenanalysen erstellen und KPIs überwachen können.

Damit ein Data Warehouse möglichst effizient operieren kann, nutzt es verschiedene technische Komponenten – zu den wichtigsten zählen:

• Zentrale Datenbank: Stellt sicher, dass die Daten in einer Form gespeichert werden, die für Analysen optimiert ist. Dies kann entweder in relationalen Strukturen (wie SQL-Datenbanken) oder in multidimensionalen Modellen (z. B. OLAP-Würfel) erfolgen. Üblicherweise werden relationale Standarddatenbanken verwendet, die entweder lokal (on-premise) oder in der Cloud betrieben werden.
• Datenverarbeitung und -Integration: Datenintegrationsmethoden bereiten die Daten für eine effiziente analytische Nutzung auf. Dazu gehören Ansätze wie ETL, Echtzeitdatenreplikation, Massenladeprozesse, Datentransformation sowie Dienste für Datenqualität und -anreicherung.
• Metadaten: Sind beschreibende Informationsdaten und liefern Details über Erstellungsdatum, den Speicherort, die Dateigröße und weitere Eigenschaften. Metainformationen erleichtern das Verwalten, Durchsuchen und Organisieren von Daten in einem System.
• Datenschicht: Hierüber haben Nutzende Zugriff auf die Daten (meist via Data Mart) und können eine Einteilung der Daten je nach Unternehmensbereich vornehmen. Beispielsweise haben Personen aus der Sales-Abteilung keinen Zugriff auf Personaldaten und umgekehrt. Mit passenden Zugriff-Tools können User*innen mit den Daten interagieren, zum Beispiel mit Tools zum Erstellen von Berichten, zur Anwendungsentwicklung oder zum Data Mining.

Neben dem Data Warehouse existieren unterschiedliche Datenspeicherungskonzepte, die je nach Datenmanagement-System kooperieren und einander ergänzen können. Dazu zählen:

• Datenbanken: Data Warehouses wie Datenbanken sind beides Datenspeichersysteme, unterscheiden sich allerdings in ihrem Zweck. Während ein Data Warehouse aktuelle und historische Daten für das gesamte Unternehmen umfasst, befinden sich in Datenbanken gezielt Daten für einen ausgewählten Geschäftsbereich. Data Warehouses verfügen in der Regel über Datenbanken.
• Data Marts: Wie beim Data Warehouse sind in einem Data Mart die Daten strukturiert und relational. Die Daten können hierbei aus dem Data Warehouse stammen oder direkt aus den Datenquellen extrahiert werden. In einem Data Warehouse befinden sich oft mehrere Data Marts, welche Daten für die Anforderungen eines spezifischen Geschäftsbereichs bereitstellen.
• Data Lakes: Ähnlich wie Data Warehouses werden in Data Lakes große Datenmengen (Big Data) gespeichert, jedoch mit dem Unterschied, dass Daten in Data Lakes nicht strukturiert und ohne definierten Zweck existieren. Ein Data Warehouse kann auf diese großen Mengen an Rohdaten in ihrem nativen Format bei Bedarf zugreifen, wenn sie für einen Zweck benötigt werden.