Flatfiles mit SSIS importieren

Wer Daten mit DeltaMaster analysieren möchte, muss natürlich zuerst einmal dafür sorgen, dass überhaupt Daten zum Analysieren da sind. In unseren Projekten setzen wir sehr oft auf Microsoft SQL-Server mit Analysis Services, um die Daten aus den unterschiedlichsten Vorsystemen zusammen zu tragen, aufzubereiten und für eine optimale Datenanalyse bereit zu stellen. Aber nicht alle Systeme können direkt über eine Schnittstelle “angezapft” werden. In diesen Fällen muss eine andere Lösung für den Datenimport gefunden werden. Eine Möglichkeit ist dann, die Daten aus dem Vorsystem in ein Flatfile zu exportieren und mit den Bordmitteln der SQL-Server Integration Services (kurz SSIS) in den SQL-Server automatisch zu importieren.
“Flatfiles” sind einfache Textdateien (.txt, .csv). Allen gemeinsam ist, dass die Daten nach einem vorgegebenen Schema spaltenweise geordnet sind, so dass sie in eine Tabelle importiert werden können. Um die einzelnen Spalten voneinander abzugrenzen werden entweder feste Spaltenbreiten vorgegeben – hierbei werden die Daten mit Leerzeichen aufgefüllt, bis die notwendige Spaltenbreite erreicht ist – oder es werden Trennzeichen verwendet (z.B. TAB, Komma, Semikolon etc.). Bei der Wahl des Trennzeichens ist besonders wichtig, dass es nicht auch in den Daten enthalten ist. Wird z.B. ein Komma als Spalten-Trennzeichen in einem Flatfile verwendet, in dem auch Dezimalzahlen mit Komma als Dezimaltrennzeichen vorkommen, führt dies beim Import zu schwerwiegenden Fehlern – plötzlich werden die Zahlen der Nachkommastellen als Inhalt der nächsten Spalte interpretiert… Das ist nicht gut!

Den gesamten Artikel können Sie hier abrufen.

Zusatzmaterial finden Sie hier

Schreibe einen Kommentar