SSIS-Importe für SAP HANA

Wenn DeltaMaster auf Daten aus SAP HANA zugreift, sind diese in der Regel bereits vorhanden. Manchmal kommt es vor, dass zusätzliche oder externe Datenquellen angebunden werden sollen. Dies ist der Fall z. B. bei Demo-Systemen, die häufig als Excel- oder CSV-Dateien vorliegen, In diesem Artikel erläutern wir, wie Datensätze aus solchen Datenquellen per SQL Server Integration Services (SSIS) in SAP-HANA importiert werden können und was dabei zu beachten ist. Dabei gehen wir auch auf mögliche Probleme ein und zeigen, wie mit diesen umzugehen ist. weiterlesen…

OLAP-Datenexport im ETL-Prozess mit SSIS und Berichtsserver

Im Beitrag „Export von OLAP-Daten in eine SQL-Tabelle“ ist beschrieben, wie mittels Linked-Server und T-SQL Befehlen (OpenQuery) die Abfrage von OLAP-Daten und Übernahme in eine SQL-Tabelle des Microsoft SQL-Servers aussehen kann.
Nachfolgend wird betrachtet, wie ein solcher Datenabzug alternativ direkt mittels Microsoft SSIS erstellt wird. Einen Blick wert sind auch die Exportmöglichkeiten des DeltaMaster Berichtsserver mit der interessanten Möglichkeit, diesen in einen SSIS basierenden ETL-Prozess einzubinden, um Würfeldaten zu exportieren. Das ist beispielsweise dann eine Alternative, wenn das manuelle Erstellen ausgefeilter MDX-Abfragen Schwierigkeiten bereitet und durch das einfache Erstellen von geeigneten DeltaMaster Berichten ersetzt werden kann. Zusammen mit den Iterations- und Voreinstellungsmöglichkeiten des Berichtsservers ergibt sich für den Datenexport eine hohe Flexibilität. weiterlesen…

SSIS: Mehrere Verbindungsmanager, ein Container

Es kommt mitunter vor, daß strukturgleiche Daten im Ladeprozess aus verschiedenen Datenquellen in das System überführt werden müssen.
Um hier nicht für jede Datenquelle einen eigenen Prozesschritt anlegen zu müssen, bietet sich die Möglichkeit an, in der Organisation der Dateneinspeisung einen Container zu verwenden, der einen Loop über die verschiedenen Quellen durchführt. Dabei werden die Connection Strings zunächst in eine variable gespeichert und dann zur Laufzeit abgearbeitet. Die technische Umsetzung dieser Arbeitsersparnis wird im Folgenden dargestellt. weiterlesen…

Duplikat oder Fuzzy?

In meinen beiden vorherigen Beitrags habe ich einen Prozess zur Erkennung bereits vorhandener Datensätze in einer Zieldatenbank gezeigt. Was aber tun, wenn meine Daten zwar auf Feldebene gleich sein sollten, es aber de facto nicht sind? Der Vorname ist in dem einen Fall ausgeschrieben, im anderen Fall nicht. Es haben sich Tippfehler eingeschlichen, und so weiter. Das Ganze dann auch noch in Kombination und das Datenchaos ist perfekt. Aber ein normaler Zustand in der realen Welt der Softwareverwaltung.
Im Rahmen eines Kundenprojektes für ein Kostencontrolling kam die Frage auf, warum im Bereich von Softwarelizenzen stetig steigende Kosten zu verzeichnen sind, wenngleich die Personalstärke auf ihrem Niveau stagniert. Eine Hypothese war, dass unnötige Lizenzen bezahlt werden. Wir wurden um Rat gefragt und daraus entstand die Idee, ein Benutzermanagement mit Hilfe von DeltaMaster einzuführen, damit Änderungen an den Personalstrukturen auch in die Zielsysteme weitergetragen werden. Denn diese bilden schließlich die Basis für die Abrechnung der benutzten Lizenzen. Richtig gelesen, benutzte Lizenzen, welche aber sind das? Ziel sollte sein, alle Benutzer aus den Stammdaten der unterschiedlichsten Systeme je seinem Pendant im Active Directory (AD) zuzuordnen. Welches ist aber sein Pendant, wenn die Inhalte eben nicht genau übereinstimmen? Duplikat oder nicht?
An genau dieser Stelle kam uns die Idee einer sogenannten Fuzzysuche (engl. fuzzy = undeutlich, unscharf). Dabei geht es kurz gesagt um inhaltliche Ähnlichkeiten von Zeichenfolgen, definierbar mit Schwellwerten. Diese ist ein Bestandteil der Integration Services des MS SQL Servers (kurz: SSIS) seit der Version 2005 und kann mit Hilfe des BI Development Studios (kurz: BIDS) in jegliche ETL-Prozesse integriert werden. Lassen Sie uns dieses Helferlein heute einmal genauer unter die Lupe nehmen. weiterlesen…

Immer diese Stammdaten

In unserer schnelllebigen Welt ändern sich die Daten (Werte) so schnell, dass die große Herausforderung in der Aktualität dieser Daten liegt. Nun kennen wir dies Thema praktisch in jedem Projekt und wie so oft gibt es diverse Lösungswege, die mehr oder weniger aufwändig und komplex zu implementieren sind. Eine Möglichkeit sich dem Problem zu nähern ist der Einsatz einer Transformation im BI Development Studio (kurz: BIDS), dem Lookup-Task (Achtung: erst ab SQL-Server 2008 einsetzbar). Vereinfacht dargestellt bietet der Lookup-Task eine Art Veränderungslogik, sprich: was ändert sich wann, wie und wo. Da dieser Schritt, je nach Konfiguration, unterschiedlichste Komplexitäten annehmen kann, beginne ich zunächst mit der einfachsten, trotzdem schon sehr nützlichen Variante. In einem zweiten Beitrag werden wir dann dieses Projekt um weitere Funktionalitäten erweitern. weiterlesen…