Der Standardleitweg

Piwik

Seit gut einem Jahr setze ich hier ja Piwik statt Google Analytics ein und hatte auch schon über den hohen Datenbank-Speicherbedarf und wie man dies manuell eindämmen kann geschrieben.
Seit der Version 1.0 löscht Piwik archivierte Daten automatisch und ich hatte gedacht dass das den Speicherhunger stillt.

Was die Logs angeht stimmt das auch, nun machen mir aber die Archive Sorgen:

Die monatlichen Archivtabellen schwanken in der Größe zwischen 5 und 300MB, also sind 6000%. Gestern ist mir die Statisikdatenbank dadurch gegen das die Wand des derzeitigen Limits gefahren.

Das Limit liess sich glücklicherweise anpassen und ich vermute auch Fehler wie einen Abbruch während der Archivierung als Ursache für die grossen Monate¹ und keinen Programmfehler. Trotzdem Anlass genug sich nach Alternativen umzusehen.

Alternative Open Web Analytics?

Und bei den Alternativen bin ich auf Open Web Analytics gestossen. Optisch näher an Google Analytics, aber auch in einem spürbar früheren Stadium, zumindest was das optische Finish angeht.

Aber vielversprechend und wenn die Daten stimmen ist die Optik zweitrangig. Ich habe es heute morgen installiert (daher sind die Daten auch noch sehr dünn) und werde es einige Zeit parallel ausprobieren und eventuell mittelfristig wechseln.

Piwik ist echt schön, aber dieser unkalkulierbare Speicherhunger ist kein haltbarer Zustand.
Wie ist Deine Erfahrung?

___________

¹ Kann das jemand bestätigen/widerlegen und hat eine Lösung dafür? Kann auch manuelles Nach-Archivieren sein.

Gestern ist Version 0.6.4 von Piwik erschienen, der Webseitenstatistik die ich seit Anfang des Jahres auch hier verwende.

Die erste und auffälligste Änderung ist ein neues Design. Das ist auch echt nett geworden.
Der von Christian angekündigte Fehler ist auch bei mir aufgetreten, der Bugfix hat aber auch hier funktioniert. Tipp: einfach die Revision 2620 der AssetManager.php komplett neu herunterladen, das erspart das manuelle patchen.

Auch die neue Version funktioniert gewohnt unauffällig und die neue Optik sieht wirklich gut aus. Die Statistiken des Blogs sind öffentlich unter stats.stdlw.de/piwik/ einsehbar — ist doch wirklich gelungen.

Was ich aber dringend vermisse ist ein Feature das erst auf die Version 1 geschoben wurde: Das löschen alter Daten! Die Daten werden für die Statistiken eh aggregiert, es besteht auch keinen Grund jeden einzelnen Zugriff, das meint jedes Seitenelelment, auf ewig vorzuhalten. Das ist unnötiger Ballast der nur die Datenbank verklumpt.

In Zahlen:
· 1545 Blogbeiträge seit 2004 belegen 29MB in der Datenbank.
· Piwiki hat seit Ende Januar 932MB an Daten gesammelt. — Knapp 1 Gigabyte!

Und leider weiss ich nicht welche Daten ich gefahrlos löschen kann. Die Daten werden für die Statistik aggregiert, die alten Logs sind also theoretisch nicht mehr nötig. Ich weiss aber nicht, ob und wann doch noch auf die Rohdaten zugegriffen wird.

Piwik ist eine echt schönes Tool und ich finde es wesentlich sauberer die Auswertung lokal durchzuführen als dass eine zentrale Stelle wie Google die Daten von millionen Webseiten zusammenführen kann.
Aber die Datenbankgröße muss dringend behoben werden.

Ich hatte es angekündigt, nun habe ich es vollzogen: Die Statistiken sind auf Piwik umgestellt und Google Analytics ist rausgeflogen.

Die Daten die ich bekomme sind im Prinzip gleich, die Auswertung erfolgt aber jetzt hier auf dem Server und nicht mehr zentral mit millionen Seiten zusammen bei Google.

Meine Piwik Installation ist zudem wie hier beschrieben verändert, so dass keine IP Adressen gespeichert werden.
Die Statistiken sind unter stats.stdlw.de/piwik/ frei einsehbar, mehr kann ich auch nicht sehen. Bzw. bei dem nur lesenden Zugriff sind alle IP Adressen ausgeblendet, die sehe ich durch den Patch aber auch nicht, es wird für alle Besucher die 0.0.0.0 gespeichert. Dinge wie die Geographische Lokalisierung Schätzung funktionieren weiterhin weil die Speicherung ganz zum Schluss erfolgt. Es lässt sich so aber nichts mehr zu einem konkreten Besuch zuordnen.

Tipp für Android Nutzer: der “Web Analytic Client” macht die Statistiken auch auf dem Mobiltelefon zugänglich. Ich hatte ihn in Folge 13 meiner Wochenendlichen Andoird Vorstellung vorgestellt.

Eine interessante Auswertung des Tweetverhaltens gibt es bei @xefer:

Das Tweetverteilung nach Wochentag und Uhrzeit:

Betrachtet wurden für die Auswertung meine letzten knapp 2000 Tweets. Der Zeitraum dürfte irgendwas zwischen 3 und 6 Monaten betragen.

---

Und wenn man von Twitter Statistiken spricht muss man natürlich auch Twitter-Friends erwähnen. Dort gibt/gab es Statistiken und Auswertungen bis an den Horizont.
Momentan wird am Dienst offenbar gearbeitet, hoffentlich haben wir ihn bald zurück. Waren wirklich tolle Auswertungen!

Auf dem neuen Webspace konnte ich nun auch Piwik installieren das mir schon mehrfach empfohlen wurde.

Piwik analysiert die Zugriffe auf Webseiten, also die Anzahl, die Herkunft, die Browser, Auflösung und hastenichgesehn.
Vergleichbar mit google analytics, aber lokal installiert.

Kostenlos sind beide, Piwik hat aber den Vorteil, dass die Daten lokal auf dem eigenen Server bleiben und nicht zentral bei google erfasst werden. Da google dadurch nicht nur Deinen Besuch hier sondern auch beim Buchhandel und Erotikshop Deines Vertrauens erfasst und dies miteinander verknüpft steht der Dienst nachvollziehbar in der
Kritik. Die “Datenschutzrechtliche Bewertung des Einsatzes von Google Analytics” des Unabhängigen Landeszentrums für Datenschutz Schleswig-Holsteins (PDF) schliesst mit den Worten

Der Einsatz der kostenlos angebotenen Version des Google Analytics Services ist aus den
genannten Gründen derzeit datenschutzrechtlich unzulässig. Die Aufsichtsbehörden des
Bundes und der Länder stehen mit der Google Germany GmbH im Gespräch, um einen
rechtskonformen Einsatz dieses Dienstes zu ermöglichen.

Meine paar Seiten hier sind nun nicht der gesellschaftliche Brennpunkt, aber es ist ein (sehr) winziges Rädchen im Getriebe.
Nachdem ich nun Piwik installieren und begutachten konnte muss ich feststellen, dass es google Analytics nicht nachsteht. Ich finde vor allem das Dashboard sogar übersichtlicher.
Ich habe Piwik ausserdem wie bei André Bräkling beschrieben so modifiziert dass keine IP Adressen gespeichert werden. Mit der Änderung wird für jeden Besuch die 0.0.0.0 gespeichert. Die IP interessiert mich sowieso nicht und Piwik benötigt sie nicht für die Arbeit.
Die Entscheidung ist für mich gefallen: Ich werde beide Analysen noch bis etwa Anfang Februar parallel laufen lassen um eine Vergleichsgrundlage zu bekommen und anschliessend google Analytics abschalten.

Wenn Du Piwik live sehen willst oder neugierig bist zu welch übersichtlicher Zahl von Besucher Du hier gehörst habe habe ich die Piwik-Statistiken des Blogs zur Ansicht allgemein freigegeben:

Unter http://stats.stdlw.de/piwik/ kannst Du direkt sehen was auch ich sehen kann. Datenschutz und Transparenz und so .
Tipp: Die Widgets haben unten rechts ein Icon: — wenn man darüber fährt erscheinen weitere Icons mit der man die Darstellung ändern und z.B. aus einer Balkengrafik einen Kuchen backen kann

Viel Spaß dabei!

Via Twitter bekam ich gestern den Link zum Methusalemcheck des Lobbyverbandes “die forschenden Pharma Unternehmen”.

Klang interessant, also gleich mal ausprobiert:

Juhu! Schöne Aussichten — vorrausgesetzt wir haben bis dahin nicht die Rente mit 98…

Etwas rumgespielt:

• Verheiratet statt ledig gewinne ich 10 Jahre Lebenszeit,
• trinke ich gar keinen Alkohol statt statt 1-2 Gläser am Tag (nächste Stufe) verliere ich 1 Jahr.
• Ob ich in Schleswig-Holstein oder Sachsen lebe macht keinen Unterschied.

witziges Spielzeug, aber ich hoffe doch sehr dass die forschenden Pharma Unternehmen mehr von Forschung und Medizin als von Statistik verstehen…

oder so ähnlich muss diese Meldung des mobile Webinterfaces für Twitter dabr gemeint sein:

in related news: Laut Benedikt Köhlers genialem TwitterFriends zwitschere ich im Schnitt 86 Zeichen (leicht über dem Durchschnitt von 83,3) und nutze bei 3% alle meiner Tweets die vollen 140 Zeichen aus, was leicht unterdurchschnittlich (3,1%) ist.