?holdResultsOpenOverStatementClose=true

You want to read the english language original of this article? Click the above link!

Pentaho Data Integration (ehemals Kettle) kann für ETL-Prozesse verwendet werden, es lässt sich aber auch in EII-Szenarios (Enterprise-Information-Integration) einsetzen. Nehmen wir zum Beispiel mal an, wir haben einen Report, der aus einem CRM-System heraus aufgerufen werden kann und es dem Kundenservice-Mitarbeiter erlaubt, alle aktuell offenen Anfragen aus der CRM-Datenbank zu sehen. Gleichzeitig soll der Report aber auch eine strategische Übersicht über den jeweiligen Kunden liefern, um die Wirtschaftlichkeit beurteilen zu können. Die Daten dazu kommen aus einem Data-Warehouse. Der Report bezieht seine Daten also aus zwei verschiedenen Quellen, bei denen möglicherweise verschiedene Datenbank- und Betriebssysteme zum Einsatz kommen. Mit Kettle ist es ein Leichtes, die Daten zusammenzufassen und dank der Integration in die Pentaho-BI-Suite kann aus den Daten direkt ein Report erzeugt werden, ohne dass sie zwischendurch erst in irgendwelchen temporären Tabellen abgelegt werden müssten. Es ist leider noch NICHT möglich, die Kettle-Transformation in den Tools zur visuellen Report-Erstellung („Report Designer“ und „Report Design Wizard“) wärend der Report-Erstellung als Datenquelle zu definieren. Das ist ein wichtiger Punkt, der nicht oft genug wiederholt werden kann:

Seit Pentaho 1.6 stellt Pentaho zur Laufzeit EII-Funktionalität zur Verfügung, nicht aber während der Design-Phase.

Man kann also eine ETL-Transformation als Quelle eines Reports nutzen und man kann sich den Beweis dafür im Verzeichnis „samples/etl“ der Pentaho-BI-Suite-Demo ansehen. Was ist also der beste Weg, um Reports mit dieser Funktionalität zu erstellen? Wie viele Andere, die die Pentaho-BI-Suite nutzen, möchte ich den Report Designer nutzen, um meinen Report visuell zu gestalten, die Daten sollen aber aus einer EII-Transformation kommen. Wie das geht, erfahrt ihr hier.

Schritt 1: Erstellen des Datensatzes

Erstelle eine ETL-Transformation, bei der am Ende die gewünschten Daten stehen. Dabei können alle Möglichkeiten genutzt werden, Datenbanken, Lookups, Berechnungen, Excel-Files, was auch immer. Wenn das Ganze später auf einem Pentaho-1.6-Server laufen soll, dann sollte Kettle 2.5.x verwendet werden, denn die neueren Versionen werden nicht voll unterstützt. Als Beispiel habe ich hier mal eine ganz einfach Transformation erstellt, die Verkaufszahlen berechnet indem Anzahl und Preis multipliziert werden.

Schritt 2: Füge einen Tabellen-Output zur Transformation hinzu

Wir werden jetzt eine Tabelle erzeugen, die NUR als Dummy-Datensatz für das Report-Design dient. Dafür kann jede beliebige Datenbank zum Einsatz kommen, die einem gerade zur Verfügung steht. (Vielleicht habt ihr eine lokale MySQL-Installation? Oder ihr habt den Pentaho-Server lokal installiert? Dann kann auch dessen Hypersonic-Datenbank genutzt werden.) Um die nötige Tabelle zu erstellen fügt man der Transformation einfach einen Table-Output-Schritt hinzu und klickt in diesem auf den „SQL“-Button. Kettle spuckt daraufhin das nötige SQL-Statement aus, welches direkt von dort aus ausgeführt werden kann. Gib‘ der Tabelle irgendeinen blöden Namen, zum Beispiel „MYTEMPTABLE“.

Schritt 3: Die temporäre Tabelle mit Daten füllen

Nachdem die Tabelle angelegt ist, muss man nur noch die Transformation laufen lassen, um einen Abzug der aktuellen Daten in die Tabelle zu bekommen. Diese Tabelle kann dann dazu dienen, den Report zu gestalten.

Schritt 4: Den Report gestalten

Öffne den Report Designer. Lege die gerade erstellte temporäre Tabelle als Datenquelle an. Erstelle den Report, so, wie du es gewöhnt bist. In diesem Schritt passiert nichts besonderes, wir erstellen lediglich einen normalen Report auf Basis einer normalen Datenbank-Tabelle.

Schritt 5: Testen des Reports auf dem Pentaho-Server

Lege den Report mit Hilfe der Funktion „Publish“ (oder „Publish to Server“) auf dem Test-Server ab, so dass man ihn dann über das Pentaho-Web-Interface erreichen kann. Ich habe den Report zum Beispiel in samples/etl abgelegt, so dass er dort Seite an Seite mit den ETL-Beispielen steht, die bei der Standard-Installation des Demo-Servers dabei sind.

Überprüfe, dass der Report im Web-Interface erscheint und teste seine Funktion. Ok, unser Report (etlexample.xaction) läuft wie geschmiert. Auch in diesem Schritt haben wir nichts außergewöhnliches getan, das ist ja immer noch der langweilige Report, der seine Daten ganz normal aus der temporären Tabelle „MYTEMPTABLE“ ausliest.

Schritt 6: Die PDI-Transformation auf dem Server ablegen

Es ist zwar nicht zwingend erforderlich aber doch eine sehr gute Idee, in der Transformation den letzten Hop (von „for_pentaho“ zum Table Output) zu deaktivieren. Wenn der Report ausgeführt wird, wollen wir ja schließlich keine INSERT-Statements erzeugen. Wir speichern die Transformation unter dem Namen kettleexample.ktr im Verzeichnis samples/etl, wo auch schon die Datei etlexample.xaction liegt. Man kann die Datei auch an beliebigen anderen Orten ablegen, es macht aber Sinn, alles beisammen zu haben.

Schritt 7: DB durch PDI ersetzen

Um hinterher beide Versionen vergleichen zu können, mache ich erst mal eine Kopie von meiner etlexample.xaction-Datei, die ich etlexample2.xaction nenne. Diese rufe ich im Design Studio auf, um folgende Änderungen durchzuführen:

Als erstes ändere ich den Namen der Action-Sequenz von „ETL Transformation“ nach „ETL Transformation – NO TABLES“.

Als nächstes muss die Datenquelle gelöscht werden. Dafür markiere ich das „rule“-Element und klicke auf das rote X.

Als Drittes füge ich ein „Get Data From Pentaho Data Integration“-Element VOR dem „report“-Element ein.

Viertens: Konfiguriere das PDI-Element wie im Screenshot:

Das haben wir hier getan: Wir haben angegeben, dass unsere Daten aus der PDI-Transformation „kettleexample.ktr“ kommen sollen. Außerdem haben wir noch zwei andere wichtige Informationen eingetragen: Wir haben der Komponente gesagt, dass die Daten aus dem ETL-Schritt „for_pentaho“ kommen sollen. Dort werden die Daten also abgesaugt und stehen dann als Ergebnis zur Verfügung. Deshalb haben wir als zweiten Punkt auch den Namen für das Ergebnis angegeben, unter dem dann der Report auf die Daten zugreifen kann. Wir nennen das Ergebnis hier „final_result“.

Zu guter Letzt markieren wir noch das Report-Element und legen fest, dass die Report-Daten aus diesem „final_result“ kommen sollen. Sonst muss am Report nichts mehr gemacht werden.

Schritt 8: Teste deinen neuen Report

Rufe den neuen Report „ETL Example – NO TABLE“ über das Pentaho-Web-Interface auf. Es sollte jetzt das gleiche Ergebnis zu sehen sein, wie beim vorherigen Report. Der einzige Unterschied ist, dass dieser Report nicht mehr die Datenbanktabelle „MYTEMPTABLE“ benutzt sondern seine Daten direkt aus der PDI-Transformation bezieht.

Gratulation! Du hast dir damit das Handwerkszeug erarbeitet, mit dem du EII-Reports mit dem gleichen Tool visuell gestalten kannst, wie normale Reports. Alle Möglichkeiten von PDI stehen dir damit für deine Reports offen.

Das Beispiel findest kannst du hier als ZIP-Datei (eiiexample.zip) herunter laden. Der Autor des englischen Original-Textes hatte das Ganze mit Version 1.2 des Pentaho-Servers getestet, ich habe 1.6 und auch schon die noch nicht veröffentlichte Version 1.7 ausprobiert, da geht es auch. Feedback, sowohl hier als auch natürlich auf der Website des Original-Artikels, ist sehr willkommen!

Die produktiven Daten eines Unternehmens eignen sich in der Regel nicht direkt zur Erstellung von Reports. Zum einen müssen sie oft aus verschiedensten Quellen zusammengetragen werden (XLS, CSV, TXT, XML, …), zum anderen ist die Struktur von Produktiv-Datenbanken auf andere Belange hin optimiert und bietet beim Reporting daher keine gute Performance. Deshalb erstellt man vor dem eigentlichen Report erst mal ein Datawarehouse. Das ist ein Datentopf, in dem Daten in einer Struktur abgelegt werden, die die einfache und schnelle Report-Erstellung erlaubt. Um diese Aufgabe zu bewältigen benötigt man ein ETL-Werkzeug (Extrahieren, Transformieren, Laden). Die Pentaho-Werkzeugkiste enthält dafür das Programm „Pentaho Data Integration“ (PDI), früher bekannt unter dem Namen „Kettle“. Mit PDI kann man grafisch definieren, welche Daten von wo gelesen werden sollen, wie sie aufbereitet und wohin sie dann geschrieben werden. Man tut dies, indem man diverse Komponenten auf die Arbeitsfläche zieht und diese dann miteinander verbindet. Das Ergebnis nennt sich „Transformation“. In der Regel beginnt eine Transformation mit einem oder mehreren Eingabe-Komponenten (z. B. Lesen von Daten aus Datenbanken, Dateien und Online-Quellen) und endet mit einer Ausgabe-Komponente (z. B. Schreiben von Daten in eine Datenbank). Dazwischen können noch beliebige Schritte zur Aufbereitung der Daten stehen (z. B. Berechnungen, Filter, Nachschlagen weiterer Details).

Das Report-Design 

Wenn das Datawarehouse steht, kann man den Pentaho Report Designer anwerfen. Hier erstellt man den Report, entweder zu Fuß oder mit Hilfe des Report-Design-Wizards. Aus dem Report Designer heraus kann man sich die Reports für den Eigenbedarf direkt erzeugen, man kann den Report aber auch von dort aus auf den BI-Server publizieren.

Die Arbeit im Report-Designer beginnt mit dem Konfigurieren der Datenquelle. Das kann zum Beispiel ein SQL-Statement sein, die daraus resultierenden Daten stehen dann für den Report zur Verfügung. Pro Report kann nur eine Datenquelle (also zum Beispiel nur ein SQL-Statement) genutzt werden. Es ist allerdings möglich, Unterreports mit anderen Datenquellen einzubinden.

Ist die Datenquelle definiert, geht es an das Layout.

Der frisch entpackte Demo-Server kommt mit einigen Beispielen, die auf der Seite „Lösungen“ im Ordner „Samples“ zu finden sind. Für einen allgemeinen Überblick über Möglichkeiten und deren sinnvollen Einsatz empfielt sich ein Blick in den darin enthaltenen Ordner „Steel Wheels“. Dort finden sich Beispiel-Lösungen für ein imaginäres Unternehmen. In den weiteren Verzeichnissen finden sich kleine Insellösungen, die jeweils eine bestimmt Funktion verdeutlichen sollen.

Beispiele

Die Beispiele zeigen verschiedene Ausgabeformate, Diagramme, Tabellen, die Auswahl von Werten, Einbindung von Grafiken, Prüfung von Berechtigungen und vieles mehr.

Eigene Lösungen basteln

Eine Lösung ist eine Sammlung von Dateien. Diese Dateien finden sich unter C:\pentaho\pentaho-demo\pentaho-solutions. Die Verzeichnisse system und admin sind ein wenig speziell, alle anderen Verzeichnisse erscheinen im Web-Interface unter „Lösungen“. Technisch Versierte können ruhig mal einen Blick in die einzelnen Dateien werfen, es sind zumeist XML-Dateien, aus denen man auf jeden Fall viel für eigene Lösungen lernen kann.

Wenn man sich zum ersten Mal mit einer neuen Technik bekannt macht, kann man immer viel lernen, indem man einfach mal mitten rein greift und schaut, was passiert. Legen wir also einfach mal eine Kopie des Ordners C:\pentaho\pentaho-demo\pentaho-solutions\samples an. Ich habe das Verzeichnis bei mir C:\pentaho\pentaho-demo\pentaho-solutions\mysolutions genannt. Wenn ich jetzt im Web-Interface die Seite mit den Lösungen aufrufe, dann sehe ich dort jetzt alles doppelt, meine Änderung hatte also einen direkten Erfolg. Weil mir der Bildschirm jetzt zu voll ist, räume ich auf. Ich möchte nur meinen Lösungs-Ordner mit einer Beispiellösung behalten. In meinem neuen Ordner lösche ich alle Unterverzeichnisse bis auf das Verzeichnis etl (das ist völlig willkürlich gewählt, ich will einfach irgendeinen Inhalts-Ordner behalten). Außerdem lösche ich noch die Dateien fileUpload.html und metadata.xmi (über Letztere gibt es mehr Infos im nächsten Artikel zum „Adhoc-Reporting“). Folgende Dateien sind übrig:

• index.xml
  Hier finden sich Einstellungen zur Sichtbarkeit und Darstellung des Lösungs-Ordners. Die Datei sieht nicht aus, als müsste ich sie anfassen.
• index.properties
  Hier findet sich der englische Name und die Englische Beschreibung des Lösungs-Ordners. Diese Datei würde ichfür meine eigenen Lösungen eindeutig anpassen.
• index_*.properties
  Dies sind Übersetzungen der index.properties-Datei. Ich lösche alle bis auf index_de.properties. Zwei Sprachen sind genug zum Testen. Auch die Inhalte dieser Datei(en) werden natürlich angepasst. Nichts wäre peinlicher, als eine tolle eigene Lösung gebastelt zu haben und dann bei den Übersetzungen (die man evtl. nie getestet hat) noch die Beispieltexte stehen zu haben. Auch deshalb ist es gut, alle überflüssigen Übersetzungen zu löschen.
• folder.png
  Das Icon des Folders. Die Datei enthält sowohl die normale Ansicht als auch die Rollover-Ansicht.
• samples.png
  Ein Icon, welches aus der index.xml referenziert wird. Bisher haben wir dieses Icon am Bildschirm nirgends gesehen. Es wird verwendet, wenn man die Reporting-Beispiele über das JBOSS-Portal aufruft. Im Moment muss mich diese Datei nicht interessieren.

Der Nutzer wird in 4 einfachen Schritten durch die Erzeugung eines Reports geführt:

Schritt 1: Business-Modell und Template

Im ersten Schritt wählt man ein Business-Modell und ein Template aus. Das Busines-Modell bestimmt, welche Daten für den Report zur Verfügung stehen, das Template bestimmt, wie der Report am Ende aussieht. Unter den mitgelieferten Templates ist das „Pentaho“-Template am brauchbarsten, als Business-Modell wähle ich zum Testen das Modell „Orders“. Darunter kann sich sicher jeder was vorstellen.

Die einzigen aktiven Schaltflächen zu diesem Zeitpunkt sind „Cancel“ und „Next“. Ich gehe also mit „Next“ weiter zum nächsten Schritt.

Schritt 2: Auswahl der Daten

Das im ersten Schritt gewählte Business-Modell enthält eine Menge Daten. Im Fall des gewählten Modells finden sich Daten aus den Bereichen „Kunden“, „Aufträge“, „Zahlungen“ und „Produkte“. In jedem dieser Bereiche gibt es wiederum viele Daten-Felder, zu einem Kunden gehören beispielsweise eine Kundennummer, ein Name, Adressdaten usw.

Im zweiten Schritt sieht man links alle verfügbaren Daten. Diese lassen sich per Drag & Drop in einen der Bereiche auf der rechten Seite ziehen. Für dieses Beispiel nehme ich mal an, dass ich einen Report haben möchte, der mir Kundennummer, Kundenname Auftragsnummer und Auftragswert anzeigt. Das ganze soll nach Gebiet zusammengefasst werden und ich möchte nur abgeschlossene Aufträge erfassen. Dazu ziehe ich erst mal das Feld „Territory“ nach rechts in den Bereich „Groups => Level 1″. Damit ist schon mal für die Gruppierung nach Gebiet gesorgt. Die restlichen Daten („Customer Number“, „Customer Name“, „Order Number“ und „Total“) ziehe ich in den Bereich „Details“. Um nur abgeschlossene Aufträge zu selektieren ziehe ich noch das Feld „Status“ in den Bereich „Filter“. Dort kann man jedes Datenfeld ablegen, nach dem man filtern möchte, dessen Wert aber nicht im Report erscheinen soll.

In dem Moment, in dem man mindestens ein Datenfeld in den Bereich „Details“ gezogen hat, färbt sich der „Go“-Button grün. Jetzt ist es möglich, sich eine Voransicht des Reports erzeugen zu lassen. In der Regel sollte man das aber erst nach Schritt 3 tun, denn derzeit sind noch keine Filter aktiv und der Report könnte sehr lang werden und je nach Datenmenge den Computer in die Knie zwingen. Also auf zum nächsten Schritt.

Schritt 3: Die Feinheiten

In Schritt 3 kann man eine ganze Menge machen, es ist allerdings alles recht unkompliziert. Links findet sich nun die Spalte mit unseren in Schritt 2 gewählten „Groups“, „Details“ und „Filters“. Wenn man dort irgend etwas anklickt, kann man im rechten Bereich diverse Einstellungen vornehmen. Das gehe ich jetzt mal durch:

Ich klicke links unter „Groups“ auf den grünen Kasten „Level 1″. Rechts kann ich jetzt Einstellungen für diese Gruppierung vornehmen. Inhaltlich wichtig ist nur die Auswahl, ob ich eine Summenzeile unter der Gruppe haben möchte („Show Group Summary“). Der Rest bezieht sich nur auf die Optik. Erwähnt sei noch das Häkchen bei „Repeat Group Header“. Dadurch wird die Gruppierungs-Kopfzeile auf jeder Report-Seite wiederholt, falls die Gruppe sich über mehrere Report-Seiten erstreckt. Das ist natürlich nur bei Ausgabeformaten sinnvoll, die überhaupt Seiten haben. Auf die Ausgabeformate „HTML“ und „Excel“ hat es zum Beispiel keinen Einfluss, auf einen PDF-Report wirkt es sich aber aus.

Als nächstes klicke ich unter „Groups“ auf mein Datenfeld „Territory“. Rechts erscheinen auch hier diverse Optionen. Der Bereich mit den Zahlenformaten ist ausgegraut, da das Feld „Territory“ Text und keine Zahlen enthält. Rechts unten kann ich sehen, dass der Report nach „Territory“ in aufsteigender Reihenfolge sortiert wird. Es findet immer eine Sortierung nach allen Gruppen-Feldern statt. Rechts oben könnte man noch auf „Add a Constraint“ klicken und dann die erlaubten Wertbereiche für das Feld „Territory“ einschränken. Das mache ich aber später noch mit einem anderen Feld, deshalb erwähne ich es jetzt nicht weiter.

Dann klicke ich links unter „Details“ auf das Datenfeld „Total“. Das ist das Feld mit dem Auftragswert. Rechts sieht alles recht ähnlich aus, wie gerade eben. Diesmal kann ich allerdings ein Nummernformat wählen. Es gibt außerdem einen ganz neuen Abschnitt in der Mitte unten. Wenn es für meine Gruppe eine Summenzeile gibt, dann kann ich bei jedem „Detail“ wählen, ob es in der Summenzeile auftauchen soll und wenn ja, wie der Eintrag berechnet werden soll. Ich wähle, dass ich hier eine Summe der Auftragswerte sehen will. Der Bereich der die Sortierreihenfolge anzeigt (unten rechts) ist diesmal leer. Hier kann man definieren, wie die Einträge innerhalb der Gruppe sortiert werden sollen.

Als letztes bleibt mir noch ein Klick links auf meinen Eintrag in der „Filter“-Box. Jetzt habe ich rechts nur die Möglichkeit, den Wertebereich einzuschränken, der vom Report erfasst werden soll. Nach einem Klick auf „Add a Constraint“ wird mir diese Zeile präsentiert:

Wenn ich die Daten nicht so genau kenne und zum Beispiel nicht weiß, was bei einem abgeschlossenen Auftrag wohl als Status in der Datenbank steht, dann ist ein Klick auf das Lupen-Symbol hilfreich. Daraufhin öffnet sich ein Fenster, in dem man mit Platzhaltern nach möglichen Werten suchen kann. Wenn man einfach ein Sternchen eingibt und auf „Search“ klickt, erhält man eine Liste aller möglichen Werte. Bei manchen Datenfeldern könnte das natürlich eine blöde Idee sein, bei diesem kann man es aber durchaus mal so machen. Ich wähle als Filterkriterium den Status „Shipped“.

Jetzt ist es aller spätestens an der Zeit, auf den „Go“-Button zu klicken, um eine Voransicht des Reports zu erhalten. Dabei kann man zwischen diversen Ausgabeformaten wählen. Ich nehme mal Excel, da ich weiß, dass sich die späteren Nutzer sicher besonders für dieses Format interessieren werden. Das Ergebnis ist durchaus respektabel. Ich empfehle, jetzt noch ein wenig zu spielen. Man kann noch weitere Gruppierungs-Ebenen hinzufügen oder die Einträge innerhalb der Gruppe sortieren.

Schritt 4: Layout-Vorgaben

Der letzte Schritt bietet nur noch ein paar leicht verständliche Einstellungen zum Report-Layout. Es können Texte für die Kopf- und Fuß-Bereiche definiert werden und man kann ein Papierformat wählen. Letzteres macht natürlich mal wieder für die PDF-Ausgabe Sinn.