Der Standardleitweg

Piwik

Seit gut einem Jahr setze ich hier ja Piwik statt Google Analytics ein und hatte auch schon über den hohen Datenbank-Speicherbedarf und wie man dies manuell eindämmen kann geschrieben.
Seit der Version 1.0 löscht Piwik archivierte Daten automatisch und ich hatte gedacht dass das den Speicherhunger stillt.

Was die Logs angeht stimmt das auch, nun machen mir aber die Archive Sorgen:

Die monatlichen Archivtabellen schwanken in der Größe zwischen 5 und 300MB, also sind 6000%. Gestern ist mir die Statisikdatenbank dadurch gegen das die Wand des derzeitigen Limits gefahren.

Das Limit liess sich glücklicherweise anpassen und ich vermute auch Fehler wie einen Abbruch während der Archivierung als Ursache für die grossen Monate¹ und keinen Programmfehler. Trotzdem Anlass genug sich nach Alternativen umzusehen.

Alternative Open Web Analytics?

Und bei den Alternativen bin ich auf Open Web Analytics gestossen. Optisch näher an Google Analytics, aber auch in einem spürbar früheren Stadium, zumindest was das optische Finish angeht.

Aber vielversprechend und wenn die Daten stimmen ist die Optik zweitrangig. Ich habe es heute morgen installiert (daher sind die Daten auch noch sehr dünn) und werde es einige Zeit parallel ausprobieren und eventuell mittelfristig wechseln.

Piwik ist echt schön, aber dieser unkalkulierbare Speicherhunger ist kein haltbarer Zustand.
Wie ist Deine Erfahrung?

___________

¹ Kann das jemand bestätigen/widerlegen und hat eine Lösung dafür? Kann auch manuelles Nach-Archivieren sein.

Willkommen zu einer wieder pünktlichen Folge der Wochenendlichen Android App Vorstellung!

Diese Woche mit diesen Programmen:

• Piwik mobile — Offizielle App um Piwik Statistiken auf dem Telefon abzufragen
• Tapatalk Forum App Pro (Demo) — einfacher Zugriff auf tausende Webforen
• PingChat — Android Version der auf dem iphone verbreiteten Chatanwendung
• FolderOrganizer Lite — Anwendungen in Ordnern oder Widget organisieren
• Toggle 2G — automatischer 2G/3G Umschalter für Cyanogenmod 6

"Wochenendliche Android App Vorstellung Folge 40" vollständig lesen

Letzte Woche schrieb ich anlässlich der gerade erschienenen Version 0.6.4 von Piwik über den doch recht hohen Speicherbedarf in der Datenbank.

Ursache ist, dass Piwik alte Einträge nicht löscht nachdem sie verarbeitet und archiviert wurden. Das Feature ist für die Version 1.0 geplant.
Vorgestern nun ist Version 0.7 erschienen und das Piwik Team hat bei Facebook einen Artikel verlinkt in dem die Version 1.0 in den nächsten zwei Wochen angekündigt wird.
Auf meinen Kommentar dass ich hoffe dass dann auch wirklich das Löschen alter Einträge implementiert ist bekamen ich und ein weiterer Kommentator einen Link in die FAQ in der das manuelle löschen beschrieben ist. Den hatte ich bisher tatsächlich übersehen.

Folgender SQL Befehl löscht die Logeinträge die älter als 30 Tage sind:

DELETE piwik_log_visit, piwik_log_link_visit_action
FROM piwik_log_visit INNER JOIN piwik_log_link_visit_action
WHERE piwik_log_visit.idvisit = piwik_log_link_visit_action.idvisit
AND visit_server_date <= CURRENT_DATE() - 30;

Aber bitte auch den FAQ Eintrag lesen, dort ist beschrieben wie man sicherstellt, dass die Daten auch wirklich schon verarbeitet sind.

Das reduziert die Größe der Datenbank schon um einiges. Nicht so sehr wie ich gehofft hatte, aber auch die verarbeiteten Daten brauchen Platz, man löscht ja nur die redundanten Informationen.
Bei mir hat es heute die Datenbank von 952MB auf 673MB verkleinert. Piwik sammelt hier seit Ende Januar, also ziemlich genau ein halbes Jahr. Ich werde bis zum erscheinen der 1.0 bzw. einer Version die automatisch alte Einträge löscht regelmässig manuell löschen und mal beobachten wie schnell die Datenbank weiter wächst.

---

Nachtrag: kaum habe ich diese Zeilen geschrieben sehe ich dass Version 0.8 erschienen ist. Es geht wirklich schnel auf die 1.0 zu.

Gestern ist Version 0.6.4 von Piwik erschienen, der Webseitenstatistik die ich seit Anfang des Jahres auch hier verwende.

Die erste und auffälligste Änderung ist ein neues Design. Das ist auch echt nett geworden.
Der von Christian angekündigte Fehler ist auch bei mir aufgetreten, der Bugfix hat aber auch hier funktioniert. Tipp: einfach die Revision 2620 der AssetManager.php komplett neu herunterladen, das erspart das manuelle patchen.

Auch die neue Version funktioniert gewohnt unauffällig und die neue Optik sieht wirklich gut aus. Die Statistiken des Blogs sind öffentlich unter stats.stdlw.de/piwik/ einsehbar — ist doch wirklich gelungen.

Was ich aber dringend vermisse ist ein Feature das erst auf die Version 1 geschoben wurde: Das löschen alter Daten! Die Daten werden für die Statistiken eh aggregiert, es besteht auch keinen Grund jeden einzelnen Zugriff, das meint jedes Seitenelelment, auf ewig vorzuhalten. Das ist unnötiger Ballast der nur die Datenbank verklumpt.

In Zahlen:
· 1545 Blogbeiträge seit 2004 belegen 29MB in der Datenbank.
· Piwiki hat seit Ende Januar 932MB an Daten gesammelt. — Knapp 1 Gigabyte!

Und leider weiss ich nicht welche Daten ich gefahrlos löschen kann. Die Daten werden für die Statistik aggregiert, die alten Logs sind also theoretisch nicht mehr nötig. Ich weiss aber nicht, ob und wann doch noch auf die Rohdaten zugegriffen wird.

Piwik ist eine echt schönes Tool und ich finde es wesentlich sauberer die Auswertung lokal durchzuführen als dass eine zentrale Stelle wie Google die Daten von millionen Webseiten zusammenführen kann.
Aber die Datenbankgröße muss dringend behoben werden.

Gerade ist Version 0.5.5 von Piwik erschienen, das Statistiksystem das ich hier mittlerweile einsetze.

Die meines erachtens wichtigste Neuerung:

#692 – AnonymizeIP plugin to mask the IP address of your visitors.

Die 0.5.4 hatte ich noch wie hier beschrieben gepatcht dass keine Adressen gespeichert werden, die 0.5.5 bringt dafür ein Plugin mit das ich nur aktivieren musste.
Das Plugin setzt das letzte Oktet der IP generell auf 0, also aus a.b.c.d wird a.b.c.0, so dass die Abfrage nicht mehr auf eine konkrete Adresse zurückgeführt werden kann sondern 256 in Frage kommen.

Die Piwik Auswertungen für dieses Blog sind weiterhin unter stats.stdlw.de/piwik offen abrufbar. IP Adressen, auch anonymisiert, sind bei diesem offenen Zugang generell ausgeblendet.

Ich hatte es angekündigt, nun habe ich es vollzogen: Die Statistiken sind auf Piwik umgestellt und Google Analytics ist rausgeflogen.

Die Daten die ich bekomme sind im Prinzip gleich, die Auswertung erfolgt aber jetzt hier auf dem Server und nicht mehr zentral mit millionen Seiten zusammen bei Google.

Meine Piwik Installation ist zudem wie hier beschrieben verändert, so dass keine IP Adressen gespeichert werden.
Die Statistiken sind unter stats.stdlw.de/piwik/ frei einsehbar, mehr kann ich auch nicht sehen. Bzw. bei dem nur lesenden Zugriff sind alle IP Adressen ausgeblendet, die sehe ich durch den Patch aber auch nicht, es wird für alle Besucher die 0.0.0.0 gespeichert. Dinge wie die Geographische Lokalisierung Schätzung funktionieren weiterhin weil die Speicherung ganz zum Schluss erfolgt. Es lässt sich so aber nichts mehr zu einem konkreten Besuch zuordnen.

Tipp für Android Nutzer: der “Web Analytic Client” macht die Statistiken auch auf dem Mobiltelefon zugänglich. Ich hatte ihn in Folge 13 meiner Wochenendlichen Andoird Vorstellung vorgestellt.

Auf dem neuen Webspace konnte ich nun auch Piwik installieren das mir schon mehrfach empfohlen wurde.

Piwik analysiert die Zugriffe auf Webseiten, also die Anzahl, die Herkunft, die Browser, Auflösung und hastenichgesehn.
Vergleichbar mit google analytics, aber lokal installiert.

Kostenlos sind beide, Piwik hat aber den Vorteil, dass die Daten lokal auf dem eigenen Server bleiben und nicht zentral bei google erfasst werden. Da google dadurch nicht nur Deinen Besuch hier sondern auch beim Buchhandel und Erotikshop Deines Vertrauens erfasst und dies miteinander verknüpft steht der Dienst nachvollziehbar in der
Kritik. Die “Datenschutzrechtliche Bewertung des Einsatzes von Google Analytics” des Unabhängigen Landeszentrums für Datenschutz Schleswig-Holsteins (PDF) schliesst mit den Worten

Der Einsatz der kostenlos angebotenen Version des Google Analytics Services ist aus den
genannten Gründen derzeit datenschutzrechtlich unzulässig. Die Aufsichtsbehörden des
Bundes und der Länder stehen mit der Google Germany GmbH im Gespräch, um einen
rechtskonformen Einsatz dieses Dienstes zu ermöglichen.

Meine paar Seiten hier sind nun nicht der gesellschaftliche Brennpunkt, aber es ist ein (sehr) winziges Rädchen im Getriebe.
Nachdem ich nun Piwik installieren und begutachten konnte muss ich feststellen, dass es google Analytics nicht nachsteht. Ich finde vor allem das Dashboard sogar übersichtlicher.
Ich habe Piwik ausserdem wie bei André Bräkling beschrieben so modifiziert dass keine IP Adressen gespeichert werden. Mit der Änderung wird für jeden Besuch die 0.0.0.0 gespeichert. Die IP interessiert mich sowieso nicht und Piwik benötigt sie nicht für die Arbeit.
Die Entscheidung ist für mich gefallen: Ich werde beide Analysen noch bis etwa Anfang Februar parallel laufen lassen um eine Vergleichsgrundlage zu bekommen und anschliessend google Analytics abschalten.

Wenn Du Piwik live sehen willst oder neugierig bist zu welch übersichtlicher Zahl von Besucher Du hier gehörst habe habe ich die Piwik-Statistiken des Blogs zur Ansicht allgemein freigegeben:

Unter http://stats.stdlw.de/piwik/ kannst Du direkt sehen was auch ich sehen kann. Datenschutz und Transparenz und so .
Tipp: Die Widgets haben unten rechts ein Icon: — wenn man darüber fährt erscheinen weitere Icons mit der man die Darstellung ändern und z.B. aus einer Balkengrafik einen Kuchen backen kann

Viel Spaß dabei!