OLAP-Datenexport im ETL-Prozess mit SSIS und Berichtsserver

Im Bei­trag Export von OLAP-Daten in eine SQL-Tabelle” ist beschrie­ben, wie mit­tels Lin­ked-Ser­ver und T-SQL Befeh­len (Open­Query) die Abfrage von OLAP-Daten und Über­nahme in eine SQL-Tabelle des Micro­soft SQL-Ser­vers aus­se­hen kann.
Nach­fol­gend wird betrach­tet, wie ein sol­cher Daten­ab­zug alter­na­tiv direkt mit­tels Micro­soft SSIS erstellt wird. Einen Blick wert sind auch die Export­mög­lich­kei­ten des Delta­Master Berichts­ser­ver mit der inter­es­san­ten Mög­lich­keit, die­sen in einen SSIS basie­ren­den ETL-Pro­zess ein­zu­bin­den, um Wür­felda­ten zu expor­tie­ren. Das ist bei­spiels­weise dann eine Alter­na­tive, wenn das manu­elle Erstel­len aus­ge­feil­ter MDX-Abfra­gen Schwie­rig­kei­ten berei­tet und durch das ein­fa­che Erstel­len von geeig­ne­ten Delta­Master Berich­ten ersetzt wer­den kann. Zusam­men mit den Ite­ra­ti­ons- und Vor­ein­stel­lungs­mög­lich­kei­ten des Berichts­ser­vers ergibt sich für den Daten­ex­port eine hohe Fle­xi­bi­li­tät. wei­ter­le­sen…

SSIS: Mehrere Verbindungsmanager, ein Container

Es kommt mit­un­ter vor, daß struk­tur­glei­che Daten im Lade­pro­zess aus ver­schie­de­nen Daten­quel­len in das Sys­tem über­führt wer­den müs­sen.
Um hier nicht für jede Daten­quelle einen eige­nen Pro­zes­schritt anle­gen zu müs­sen, bie­tet sich die Mög­lich­keit an, in der Orga­ni­sa­tion der Daten­ein­spei­sung einen Con­tai­ner zu ver­wen­den, der einen Loop über die ver­schie­de­nen Quel­len durch­führt. Dabei wer­den die Con­nec­tion Strings zunächst in eine varia­ble gespei­chert und dann zur Lauf­zeit abge­ar­bei­tet. Die tech­ni­sche Umset­zung die­ser Arbeits­er­spar­nis wird im Fol­gen­den dar­ge­stellt. wei­ter­le­sen…

Duplikat oder Fuzzy?

In mei­nen bei­den vor­he­ri­gen Bei­trags habe ich einen Pro­zess zur Erken­nung bereits vor­han­de­ner Daten­sätze in einer Ziel­da­ten­bank gezeigt. Was aber tun, wenn meine Daten zwar auf Feld­ebene gleich sein soll­ten, es aber de facto nicht sind? Der Vor­name ist in dem einen Fall aus­ge­schrie­ben, im ande­ren Fall nicht. Es haben sich Tipp­feh­ler ein­ge­schli­chen, und so wei­ter. Das Ganze dann auch noch in Kom­bi­na­tion und das Daten­chaos ist per­fekt. Aber ein nor­ma­ler Zustand in der rea­len Welt der Soft­ware­ver­wal­tung.
Im Rah­men eines Kun­den­pro­jek­tes für ein Kos­ten­con­trol­ling kam die Frage auf, warum im Bereich von Soft­ware­li­zen­zen ste­tig stei­gende Kos­ten zu ver­zeich­nen sind, wenn­gleich die Per­so­nal­stärke auf ihrem Niveau sta­gniert. Eine Hypo­these war, dass unnö­tige Lizen­zen bezahlt wer­den. Wir wur­den um Rat gefragt und dar­aus ent­stand die Idee, ein Benut­zer­ma­nage­ment mit Hilfe von Delta­Master ein­zu­füh­ren, damit Ände­run­gen an den Per­so­nal­struk­tu­ren auch in die Ziel­sys­teme wei­ter­ge­tra­gen wer­den. Denn diese bil­den schließ­lich die Basis für die Abrech­nung der benutz­ten Lizen­zen. Rich­tig gele­sen, benutzte Lizen­zen, wel­che aber sind das? Ziel sollte sein, alle Benut­zer aus den Stamm­da­ten der unter­schied­lichs­ten Sys­teme je sei­nem Pen­dant im Active Direc­tory (AD) zuzu­ord­nen. Wel­ches ist aber sein Pen­dant, wenn die Inhalte eben nicht genau über­ein­stim­men? Dupli­kat oder nicht?
An genau die­ser Stelle kam uns die Idee einer soge­nann­ten Fuz­zy­suche (engl. fuzzy = undeut­lich, unscharf). Dabei geht es kurz gesagt um inhalt­li­che Ähn­lich­kei­ten von Zei­chen­fol­gen, defi­nier­bar mit Schwell­wer­ten. Diese ist ein Bestand­teil der Inte­gra­tion Ser­vices des MS SQL Ser­vers (kurz: SSIS) seit der Ver­sion 2005 und kann mit Hilfe des BI Deve­lop­ment Stu­dios (kurz: BIDS) in jeg­li­che ETL-Pro­zesse inte­griert wer­den. Las­sen Sie uns die­ses Hel­fer­lein heute ein­mal genauer unter die Lupe neh­men. wei­ter­le­sen…

Konvertierung von Excel-Kreuztabellen

Hokus­po­kus Rat­zef­atz, aus Kreuz­ta­bell’ mach’ Daten­satz! Wie schön wäre es, könn­ten wir die­sen Zau­ber­spruch das ein ums andere Mal auf soge­nannte Excel-Daten­grä­ber” anwen­den. Diese lie­gen meist in Form von Kreuz­ta­bel­len vor, die sich so nicht ohne wei­te­res zu einer OLAP-Ana­lyse wei­ter­ver­ar­bei­ten las­sen. Dass wir uns auf unsere magi­schen Fähig­kei­ten nicht ver­las­sen kön­nen, ist uns aber lei­der spä­tes­tens klar gewor­den, seit wir ver­stan­den haben, dass Bibi Blocks­berg eine Comic-Figur ist. Von daher müs­sen wir uns anders wei­ter­hel­fen. Der Stein der Wei­sen ist der soge­nannte Cross­Ta­ble­Con­ver­ter”. Die­ser kon­ver­tiert Excel-Kreuz­ta­bel­len in ein klas­si­sches Daten­satz-For­mat. Die dar­aus gewon­nen Flat­files kön­nen dann pro­blem­los in Daten­ban­ken ein­ge­le­sen oder durch den Delta­Master Import­Wiz­zard direkt ana­ly­siert wer­den. Klingt zu schön um wahr zu sein? Ist es auch – las­sen Sie uns zau­bern! wei­ter­le­sen…