Probleme im Griff mit Extended Events

Besonders bei komplexen Planungsanwendungen oder umfangreicheren ETL-Vorgängen erschließen sich manche SQL-Server-Probleme nur bei genauer Betrachtung aller involvierten Faktoren. Ist reines „Logging“ nicht mehr genug oder kommt eine Live-Betrachtung in Frage, sollte statt zu dem Tool „SQL Server Profiler“ zu dem Tool „Extended Events“ gegriffen werden. „Extended Events“ ist seit dem SQL Server 2008 verfügbar und ab dem SQL Server 2012 direkt integriert.

In diesem Beitrag zeigen wir, welche Möglichkeiten mit „Extended Events“ zur Verfügung stehen. Dabei erläutern wie anhand von Praxisbeispielen die Vorgehensweise. weiterlesen…

OLAP-Datenexport im ETL-Prozess mit SSIS und Berichtsserver

Im Beitrag „Export von OLAP-Daten in eine SQL-Tabelle“ ist beschrieben, wie mittels Linked-Server und T-SQL Befehlen (OpenQuery) die Abfrage von OLAP-Daten und Übernahme in eine SQL-Tabelle des Microsoft SQL-Servers aussehen kann.
Nachfolgend wird betrachtet, wie ein solcher Datenabzug alternativ direkt mittels Microsoft SSIS erstellt wird. Einen Blick wert sind auch die Exportmöglichkeiten des DeltaMaster Berichtsserver mit der interessanten Möglichkeit, diesen in einen SSIS basierenden ETL-Prozess einzubinden, um Würfeldaten zu exportieren. Das ist beispielsweise dann eine Alternative, wenn das manuelle Erstellen ausgefeilter MDX-Abfragen Schwierigkeiten bereitet und durch das einfache Erstellen von geeigneten DeltaMaster Berichten ersetzt werden kann. Zusammen mit den Iterations- und Voreinstellungsmöglichkeiten des Berichtsservers ergibt sich für den Datenexport eine hohe Flexibilität. weiterlesen…

SSIS: Mehrere Verbindungsmanager, ein Container

Es kommt mitunter vor, daß strukturgleiche Daten im Ladeprozess aus verschiedenen Datenquellen in das System überführt werden müssen.
Um hier nicht für jede Datenquelle einen eigenen Prozesschritt anlegen zu müssen, bietet sich die Möglichkeit an, in der Organisation der Dateneinspeisung einen Container zu verwenden, der einen Loop über die verschiedenen Quellen durchführt. Dabei werden die Connection Strings zunächst in eine variable gespeichert und dann zur Laufzeit abgearbeitet. Die technische Umsetzung dieser Arbeitsersparnis wird im Folgenden dargestellt. weiterlesen…

Duplikat oder Fuzzy?

In meinen beiden vorherigen Beitrags habe ich einen Prozess zur Erkennung bereits vorhandener Datensätze in einer Zieldatenbank gezeigt. Was aber tun, wenn meine Daten zwar auf Feldebene gleich sein sollten, es aber de facto nicht sind? Der Vorname ist in dem einen Fall ausgeschrieben, im anderen Fall nicht. Es haben sich Tippfehler eingeschlichen, und so weiter. Das Ganze dann auch noch in Kombination und das Datenchaos ist perfekt. Aber ein normaler Zustand in der realen Welt der Softwareverwaltung.
Im Rahmen eines Kundenprojektes für ein Kostencontrolling kam die Frage auf, warum im Bereich von Softwarelizenzen stetig steigende Kosten zu verzeichnen sind, wenngleich die Personalstärke auf ihrem Niveau stagniert. Eine Hypothese war, dass unnötige Lizenzen bezahlt werden. Wir wurden um Rat gefragt und daraus entstand die Idee, ein Benutzermanagement mit Hilfe von DeltaMaster einzuführen, damit Änderungen an den Personalstrukturen auch in die Zielsysteme weitergetragen werden. Denn diese bilden schließlich die Basis für die Abrechnung der benutzten Lizenzen. Richtig gelesen, benutzte Lizenzen, welche aber sind das? Ziel sollte sein, alle Benutzer aus den Stammdaten der unterschiedlichsten Systeme je seinem Pendant im Active Directory (AD) zuzuordnen. Welches ist aber sein Pendant, wenn die Inhalte eben nicht genau übereinstimmen? Duplikat oder nicht?
An genau dieser Stelle kam uns die Idee einer sogenannten Fuzzysuche (engl. fuzzy = undeutlich, unscharf). Dabei geht es kurz gesagt um inhaltliche Ähnlichkeiten von Zeichenfolgen, definierbar mit Schwellwerten. Diese ist ein Bestandteil der Integration Services des MS SQL Servers (kurz: SSIS) seit der Version 2005 und kann mit Hilfe des BI Development Studios (kurz: BIDS) in jegliche ETL-Prozesse integriert werden. Lassen Sie uns dieses Helferlein heute einmal genauer unter die Lupe nehmen. weiterlesen…

Konvertierung von Excel-Kreuztabellen

Hokuspokus Ratzefatz, aus Kreuztabell’ mach’ Datensatz! Wie schön wäre es, könnten wir diesen Zauberspruch das ein ums andere Mal auf sogenannte “Excel-Datengräber” anwenden. Diese liegen meist in Form von Kreuztabellen vor, die sich so nicht ohne weiteres zu einer OLAP-Analyse weiterverarbeiten lassen. Dass wir uns auf unsere magischen Fähigkeiten nicht verlassen können, ist uns aber leider spätestens klar geworden, seit wir verstanden haben, dass Bibi Blocksberg eine Comic-Figur ist. Von daher müssen wir uns anders weiterhelfen. Der Stein der Weisen ist der sogenannte “CrossTableConverter”. Dieser konvertiert Excel-Kreuztabellen in ein klassisches Datensatz-Format. Die daraus gewonnen Flatfiles können dann problemlos in Datenbanken eingelesen oder durch den DeltaMaster ImportWizzard direkt analysiert werden. Klingt zu schön um wahr zu sein? Ist es auch – lassen Sie uns zaubern! weiterlesen…