Posts mit dem Label Datenmodellierung werden angezeigt. Alle Posts anzeigen
Posts mit dem Label Datenmodellierung werden angezeigt. Alle Posts anzeigen

Mittwoch, 28. April 2010

Piwik und QlikView

Mein neues Freizeitprojekt ist eine Adhoc-Webanalyseanwendung auf der Basis von QlikView. Piwik wird dazu die Daten liefern.

Über ein HTTP-API lassen sich Daten aller Reports aus einem Piwik-System extrahieren. Die Daten werden dabei in verschiedenen Formaten geliefert, ein einfacher CSV-Export scheint mir zunächst die besten Resultate zu versprechen. QlikView unterstützt zwar auch HTML und XML als Eingabeformate, der Overhead bei der Übertragung wird jedoch deutlich größer.

Eine automatische Aktualisierung der Applikation wird dadurch möglich, dass Piwik eine Authentifizierung mittels Hash-Token unterstützt.

Wünschenswert wäre ein Durchgriff auf Detaildaten. Wenn man die Reports erst auf dem QlikView-Client rechnet, wird die Flexibilität nämlich noch größer. Man könnte sich dann von den festgelegten Zeitgranularitäten (Tag, Woche, Monat, Jahr) verabschieden und z. B. Unique Visitors über einen beliebig festzulegenden Zeitraum messen, wie etwa die Laufzeit einer Kampagne. Das ist meines Erachtens der entscheidende Vorteil, den der Einsatz eines In-Memory-Analysetools in diesem Umfeld bringt.

Der grundlegende Mechanismus einer solchen Integration ist auch auf andere Webanalyse-Tools übertragbar, soweit sie per API abfragbar sind. Das eröffnet viele mögliche Anwendungsfälle.

Samstag, 17. April 2010

Pentaho goes SAP

Leicht off-topic, aber doch noch in das Gesamtthema passend:

Der Trend zur Open-Source-BI verstärkt sich. Das Linux-Magazin schreibt, dass ein Wiener Unternehmen einen SAP-Konnektor für die Open-Source-Suite Pentaho anbieten wird. Damit wird diese Art von Software wieder ein Stück attraktiver für Projekte, die eine Integration von Daten aus verschiedenen Quellen erfordern. Pentaho zieht damit auf einer weiteren Ebene mit den kommerziellen Tools gleich.

Meines Erachtens zeigt sich hier auch der Grad der Reife eines Marktes. Wie zuvor bei den Datenbanken, kommt auch BI immer mehr in den Zustand einer Commodity-Technologie, bei der man nicht mehr an Lizenzen verdient, sondern eben am Know-How, wie die Technologie auf die Datenlandschaft des jeweiligen Kunden angewandt werden kann. Silo-Modelle, seien sie physisch oder politisch motiviert, sind nicht mehr zukunftsfähig.

Freitag, 5. Februar 2010

Web Analytics und Business Intelligence

So, mal wieder herumgeschaut. Was brauchen wir in der nahen Zukunft?

Mein Grundgedanke ist ja, dass die Welten von Web Analytics und Business Intelligence immer näher zusammen rücken. Durch leistungsfähige Rechnersysteme und billiges RAM wird es möglich, die erprobten Methoden der Business Intelligence auch auf die Datenmassen anzuwenden, die im Online-Geschäft anfallen.

Die WA-Hersteller reagieren auf diesen Trend, indem sie Features zum Standard machen, die noch vor wenigen Jahren kaum denkbar waren, wie zum Beispiel:
  • adhoc-Segmentierung anhand frei definierbarer Segmente
  • selbst definierte Kennzahlen anhand eines Formeleditors
  • orthogonale Filterung (jedes Element mit jedem anderen)
Was wird als nächstes auf uns zukommen? Ich denke, ein großes Thema ist Datenmodellierung und Datenqualität.

Ich habe dieses Blog unter das Motto der Multichannel-Analyse gestellt. Hier klingt schon die Herausforderung an, Daten aus verschiedenen Quellen auf einen gemeinsamen Standard zu bringen. Man wird aber noch von einer recht hohen Integrität der einzelnen Datensätze ausgehen können. Ein Problem ist eher die Vollständigkeit der erhobenen Datensätzen, z. B. beim Javascript-("Pixel-")Tracking.

Anders sieht es aus, wenn man Legacy-Systeme aus Controlling, Warenwirtschaft oder CRM anbindet. Das wird aber in Zukunft immer interessanter. Man möchte die Webdaten gerne mit Umsatz-, Kosten- und Zielwerten anreichern. Oder man möchte im B2C-Bereich Daten aus Kundenbindungssystemen (Kundenkarte) einfließen lassen. Diese Daten sind oft in sich schon "schmutzig", zum Beispiel weil in alten Datensätzen eine unzureichende Plausibilitätskontrolle implementiert gewesen ist. Oder das Matching mit den Online-Daten gestaltet sich schwierig. Dann muss eine Heuristik gefunden werden, die mit möglichst geringer Fehlerquote ein hochwertiges Ergebnis liefert. Dabei soll der Import der Legacy-Daten auch noch möglichst automatisch und störungsfrei ablaufen.

Dies sind Fragestellungen, die für jeden Einzelfall erneut analysiert werden müssen. Ich denke, dass es in der Zukunft einiges zu tun gibt für Experten, die sich in den Bereichen Web Analytics und Business Intelligence gleichermaßen auskennen.

Dienstag, 15. Dezember 2009

Rapid Warehousing als grundstürzender Entwicklungsschritt

Habe dieser Tage einen interessanten Blogeintrag von Ronald Damhof gelesen. Das Fazit ist: Durch die Verfügbarkeit von In-Memory-Technologien wird es möglich, Datenanalyse direkt auf OLTP-Systemen aufzusetzen. Dabei werden die transaktionalen Daten direkt in spaltenbasierten Datenbanken abgelegt. Kurz gesagt: die Welten von OLTP und OLAP wachsen zusammen.

Meines Erachtens zeichnet sich hier ein Trend ab, in dessen Kontext ich noch einmal darüber nachdenken möchte, wie im Online-Business eine Erfolgsanalyse implementiert werden kann, die einen schnellen und bezahlbaren Projekterfolg ermöglicht.

Wichtig ist, dass verschiedenste Datenquellen ohne oder mit minimaler Aufbereitung zusammengeführt werden. Dabei helfen moderne In-Memory-Analysetools sowie ein Ansatz, der nicht direkt ein perfektes Ergebnis erzeugen möchte, sondern sich in kleinschrittigen Iterationen auf eine immer bessere Lösung hin bewegt.

Ronald Damhof zitiert ein Paper von Hasso Plattner; wenn SAP einen solchen Trend propagiert, darf man sich wohl darauf einstellen, dass er in naher Zukunft weiter wachsen wird.

Sonntag, 1. November 2009

Conversion-Analyse und Agile Warehousing

Im allerersten Beitrag habe ich einige der Fragestellungen angesprochen, die einen Performance-Marketing-Analysten heute interessieren. Die Komplexität dieser Anforderungen bringt es mit sich, dass ein einfaches, tabellen-basiertes Reportingsystem nicht mehr ausreicht. Antworten ziehen unweigerlich Folgefragen nach sich, die nur durch Rückgriff auf die aufbereiteten Detaildaten beantwortet werden können.

Was sind aufbereitetete Detaildaten? Das heißt, dass jedes einzelne Trackingereignis noch aufrufbar sein soll, man möchte also möglichst nicht aggregieren. Jedoch sollen die Daten bereinigt und auf einen gemeinsamen Nenner gebracht worden sein. Allein schon dieser Schritt kann aufwendig umzusetzen sein, gerade wenn man Daten aus verschiedenen Quellen zusammenführt. Dies ist aber im Onlinemarketing regelmäßig der Fall. Hinzu kommt, dass die Datenlandschaft vergleichsweise schnell evolviert. Ein Vermarktungspartner ändert seine Datenmodellierung, oder es kommt ein ganz neuer Partner hinzu.

Gefragt ist also die Mächtigkeit einer Data-Warehouse-Architektur und die Flexibilität, schnell Änderungen an der Datenmodellierung selbst vorzunehmen. Außerdem entstehen ganz eigene Anforderungen an die Visualisierung der Ergebnisse. (Dieses Thema ist aber schon an sich so komplex, dass ich es demnächst in einem eigenen Beitrag behandeln möchte.) Wie bekommt man diese Anforderungen unter einen Hut?

Exkurs in die Geschichte
Erinnern wir uns an die Phase Ende der Neunziger. Man war damals darauf gekommen, dass man Unternehmensdaten gut in verallgemeinerten, mehrdimensionalen "Würfeln" darstellen kann. Ein Bericht über einen bestimmten Zeitraum oder Geschäftsbereich ist dann gleichsam eine Schnittebene durch den Würfel. Die damalige Hardware war jedoch nicht leistungsfähig genug, um solch einen Würfel in seiner Gesamtheit zu erfassen und zu analysieren.

Eine mögliche Lösung bestand darin, mit verkleinerten Teilwürfeln zu arbeiten, die entweder den Analysebereich (quantitativ) oder die Analysemöglichkeiten (qualitativ) einschränkten. Das führte zu überaus komplexen Modellierungsvorgängen, um alle Anforderungen abzubilden.

Pioniere wie Ralph Kimball entwarfen multidimensionale Datenmodelle auf der Basis relationaler Datenbanksysteme, die diese Schwierigkeit umgehen sollten. Dieser Ansatz führt jedoch bei großen Datenmengen zu vergleichsweise langen Antwortzeiten.

Beiden Ansätzen ist gemeinsam, dass die Projekte zur Umsetzung der Anforderungen oft teuer und langwierig waren. Und während das Geschäftsmodell eines, sagen wir, Kaufhauses sich über die Zeit hinweg nur wenig ändert, ist die Online-Branche schnelllebiger.

Was tun?
Was gebraucht wird, ist also ein zügiges Deployment und schnelle Reaktion auf neue Anforderungen sowie Tools und Architekturen, die dies gestatten.

Moderne In-Memory-Analysetools wie QlikView oder Panoratio ermöglichen es, große Datenbestände in detaillierter Form im RAM eines entsprechend dimensionierten Servers vorzuhalten. Diese Werkzeuge bringen Möglichkeiten zur Datenmodellierung und zum Data Cleansing mit sich, die auch von einem versierten Fachanwender eingesetzt werden können.

Die Projektplanung muss sich von der Idee monolithischer Projekte verabschieden, deren Umfang und Ziele von Anfang an festgelegt werden. An deren Stelle tritt eine Projektmethode, die seit einigen Jahren als Agile Programming in der klassischen Anwendungsentwicklung große Erfolge gezeigt hat. Dabei werden in kurzen Zyklen die Anforderungen jeweils neu festgelegt. Als Basis dienen dabei sogenannte User Stories, die direkt im Gespräch mit Fachanwendern erfragt werden. Solch eine User Story ist immer auf die Rolle des Fragenden bezogen und umreißt neben dem gewünschten Ergebnis auch den Nutzen, den dieses Ergebnisses für den Fragenden haben soll.