Analyse Crawler tauch bei meinen Referern auf

Marxeo

Mitglied
Bei mir taucht im Piwik seit 2 Tagen ständig folgende Seite als Referer für mehrere Besuche täglich auf:

semalt.com/crawler.php?u=http://meinedomain.tld

Wie kann ich dies unterbinden?
Am liebsten recht einfach per robots.txt?

Greets
Marxeo
 
Hallo

versuch mal dies in die .htaccess zu kopieren:

RewriteEngine on
RewriteCond %{HTTP_REFERER} semalt\.com [NC]
RewriteRule .* - [F]

 
Ich komme zumindest noch auf meine Seiten
wink.gif


Kann ich das irgendwie überprüfen? Evtl. Referer faken oderso? Ist das möglich?

Ansonsten schonmal vielen Dank

Greets
Marxeo
 
Zurück
Oben