Weniger Webtraffic

Grob überschlagen würde ich sagen, dass 90% der Besucher einer Webseite Bots sind, die automatisiert Inhalte der Webseiten aufrufen. Unter diesen gibt es gutartige, wie die Bots der Suchmaschinen, die am Ende dazu führen, dass Webseiten in den Suchmaschinen-Index aufgenommen werden können, nervige, wie etwa Bots von SEO-Dienstleistern, die versuchen, die gewonnenen Informationen an ihre Kunden zu verkaufen, ohne dass die gescannte Webseite davon profitiert und sogar bösartige, die eine Internetpräsenz systematisch nach Sicherheitslücken abscannen.

All diesen Bots ist in jedem Fall gemein, dass sie Webtraffic in rauen Mengen verursachen. Abgesehen von der verheerenden Umweltbilanz kann ein kleineres Webhostingpaket durch die zahlreichen Anfragen auch spürbar ausgebremst werden oder man hat höhere Kosten, wenn man dem mit einem leistungsfähigeren Paket entgegnen will. Aus diesem Grund kann es durchaus Sinn machen, die Bots genauer zu betrachten und zu versuchen, ihnen gegebenenfalls den Zugriff auf die eigenen Webseiten zu verweigern.

Freundliche oder zumindest neutrale Bots akzeptieren dabei Zugriffsbeschränkungen, wie man sie in den robots.txt-Dateien setzen kann. Unfreundliche Bots (wie die Sicherheitslücken-Scanner) oder zumindest schwerfällige (wie der Ahref-Bot, der auch nach einer Woche Scanverbot munter weiterscannt), lassen sich dann im zweiten Schritt über die .htaccess radikal aussperren. Sicherlich ist das nur ein Tropfen auf den heißen Stein und diese Maßnahmen lassen sich von bösen Bots auch leicht umgehen, doch immerhin habe ich in den letzten Wochen meinen Webtraffic um etwa 30% reduziert. Zeit, die den regulären Besuchern zugute kommt und ansonsten die Umwelt schont.

Ich werde die nächsten Wochen mal gucken, wie gut diese Maßnahmen auf Dauer wirken und wenn sie sich als langzeittauglich erweisen, schreibe ich mal einen Artikel im Anleitungen-Wiki.