Error Log

[nobody]

Hi Leute

Mir ist gerade etwas merkwürdiges aufgefallen mein Server blockt googlebot, msn, yahoo bzw. im Error-Log steht folgende Fehlermeldung:

[Mon Aug 06 05:44:40 2007] [error] [client 74.6.28.165] client denied by server configuration: /home/httpd/vhosts/domain.de/httpdocs/f99-topic.html

Wird das vom Server-Admin eingestellt oder hab ich irgendwo Mist gebaut?

Gruss

 

[Marcs]

Hmm, ist dies ein Server von uns oder hat dein Anbieter auf Plesk 8.2 gerade umgestellt?

Gruss Marc

 

[nobody]

Hi

Danke für die Antwort, nein ich bin nicht bei Ihnen gehostet. Habe meinen Webhosting-Support angeschrieben und die sagen der Filter würde automatisch bei zu hoher Last aktiv und ich solle doch Google kontaktieren dass die das Crawling einschraenken/reduzieren

(die würden mich ned mal anhören bzw. das ist ja gar nicht möglich)? Gibt es da irgend eine technische Möglichkeit dies zu bewerkstelligen?

Gruss

P.S. Plesk 8.1.1 ist installiert

 

[Marcs]

Wenn du eine eigene vhost.conf hast (was ich mal nicht annehme) kannst du die Zugriffe etwas erweitern

Ich würde einen Revisit in den Code einfügen um dem Bot zu sagen, dass er erst in 3 Tagen wieder vorbeischauen soll oder so

 

[nobody]

Du meinst revisit-after im meta?

<meta name="revisit-after" content="14 days">

Aber ob das wirklich viel bringt? So bekannt ist ja meine Seite auch nicht. Hmm muss ich wohl mit dem Anbieter ausmachen aber wird das bei euch auch so rigoros geblockt?

Gruss

 

[Jürgen Auer]

QUOTE (nobody @ Mo 6.08.2007, 19:27)Habe meinen Webhosting-Support angeschrieben und die sagen der Filter würde automatisch bei zu hoher Last aktiv und ich solle doch Google kontaktieren dass die das Crawling einschraenken/reduzieren

Was ist denn das für ein Anbieter?

Steht in deinem Vertrag irgendeine Einschränkung, daß Du nur eine bestimmte Last erzeugen darfst?

Wenn nein, dann such dir einen anderen Hoster.

Oder ist das wieder einer dieser Billigstanbieter?

PS: Revisit wird im Zweifelsfall ohnehin nicht beachtet. Von Yahoo gibt es etwas wie Crawl-Delay für die robots.txt, suche mal danach.

 

[Marcs]

Ach ja, jetzt weiss ich wo dein Problem liegt

.
Das ist eine Firewall, die die Weiterleitung von Traffic verbietet (interne Plesk Firewall).

Gruss Marc

 

[nobody]

Hya hab ich alles eingestellt Disallow etc. nur halten sich die Spider auch nicht immer daran, es ist ein Forum und eigentlich sehr gut optimiert (sogar mit vbseo und google/yahoo sitemap) besser gehts eigentlich nicht.

Gruss

 

[David T.]

Mein Tipp: Kündigung zum nächstmöglichen Termin, oder, falls durch diese Einschränkung die Vertragsbedingungen nicht eingehalten werden sofortige Kündigung.

Wo kommen wir denn hin, wenn man für Webspace bezahlt, der dann nicht einmal von überall aufgerufen werden kann?

Ohne Crawler keine hohen Suchmaschinenrankings; ohne hohe Rankings keine Besucher -> geschäftsschädigend.