Skip to content

Blog website crawlers and bots in Apache2

Found a couple more bots crawling my website, and from the look at online resources it seems I catched a few of the bad guys. Crawlers which ignore the robots.txt standard, and just crawl a website for content.

Decided to do something against it, and added a filter in Apache2.

The way I have my webserver setup is that I have templates for every website (they all have different configs), and deploy them using Ansible. Parts of the website configuration which are the same, or at least similar, are handled by includes.

 

Continue reading "Blog website crawlers and bots in Apache2"

Spammer werden immer dreister

Als wir heute zurück ins Parkhaus kamen steckte ein Zettel unter dem Scheibenwischer:

Also ausgestiegen und gewundert, warum es im Parkhaus Strafzettel gibt oder wer möglicherweise Kratzer an unserem Auto beim Parken verursacht und sich dann mit einem Zettel begnügt hat. Aber nein:

Ein handgeschriebener Zettel mit Werbung, unser Auto war anscheinend das einzige, das derart mit Spam beglückt wurde.

Verwendung hätte ich schon, nur kein Interesse wenn man nicht genauer hinschreibt um was es geht. Ziel verfehlt, Zettel umsonst geschrieben.

Make sure you don't get mail

Just seen in a mailserver logfile:

(host mail.********.com[xxx.xxx.xxx.xxx] said: 451 ordb.org was shut down on December 18, 2006. Please remove from your mailserver. (in reply to RCPT TO command))

I'm not sure, but maybe some ppl using this mailserver should recognize that they don't get any emails at all.

Welcome side effect: they also don't get any spam mails.