Der Standardleitweg

... war mal wieder eingeschränkt um es höflich auszudrücken. Praktisch quasi unmöglich.

Der Server an sich war problemlos erreichbar, er ächzte aber unter der Last der Anfragen. Dieses mal kein Hotlinking (was ich mittlerweile wieder erlauben konnte) sondern ein ominöser “bitlybot”.

Dieser “bitlybot” gehört offenbar zum Kurz-URL-Dienst bit.ly und hat mit mehrere Anfragen pro Sekunde das Serverchen auf dem das Blog läuft in die Knie gezwungen. Eine Dokumentation über ihn habe ich nicht gefunden, offenbar indiziert er allgemein Seiten um sie anderweitig auszuwerten. Und nein, ich glaube ehrlich gesagt nicht dass jemand alle Seiten und Links aus dem Blog auf einen bit.ly URL gekürzt hat.

Anfangs konnte ich dagegen nicht viel unternehmen, auch eine ssh Session wurde nach wenigen Sekunden abgeworfen. Das reichte gerade mal dazu den Verursacher festzustellen. Nachdem ich abends von einer Geburtstagsfeier wiederkam hatte sich zumindest dieses Problem erledigt und ich habe ihn gestern noch virtuell aussperren können. Da das Mistvieh bei Amazons EC2 Dienst läuft bedeutete das einen sehr großen IP Bereich. Schmutzig, aber kurzfristig wirkungsvoll. Da mir kein anderer blogrelevanter Dienst bekannt ist der auf Amazons Cloudcomputing Dienst zurückgreift aber wohl ohne Kollateralschäden.

Mittlerweile habe ich es auf den Useragent “bitlybot” eingeschränkt. Was auch immer bit.ly mit den Crawlergebniss anfängt funktioniert also nicht mit meinem Blog.

Falls Du das gleiche Problem hast oder auch einen Agenten hast den Du aussperren willst, mit folgenden Zeilen in der .htaccess habe ich den bitlybot ausgesperrt:

RewriteCond %{HTTP_USER_AGENT} bitlybot
RewriteRule .* – [F]

Weiss jemand was bit.ly da treibt?