robots.txt-Frage

G

Guest

Guest
Hallo,

in der robts.txt kann mit allow angeben welche Bereiche der Webwanderer durchforsten darf, mit disallow welche nicht.

Wenn ich jetzt zum Beispiel

CODE User-agent: *
Allow: /c_crawler/crawler.html
Allow: /c_crawler/crawler_forum/root.html

in die robots.txt-datei schreibe indexiert der Webwanderer dann nur diese beiden Dateien oder werden diese dann "bevorzugt" durchforstet?

Die beiden oben angebenen Datein sind Sitemaps von Chip Online (
http://www.chip.de/c_crawler/crawler.html )

Gruß
Hexemer
 
QUOTE Ich spreche kein Englisch.

Willkommen im Club! Aber laß nicht Remo wissen,
weil der hat mich deswegen gestern schon rund gemacht.
 
@Hexemer:
Interessante Sitemap von Chip ;-).

Aber ich wage stark zu bezweifeln, dass diese Allows einen Einfluss haben. Imho schadet es sicher nichts, aber nützen tuts auch nicht.

@Rainer:
Aber Rainer, ich mache doch hier niemanden rund :). Es ist nur ein Fact, dass die heutige Welt immer englischsprachiger wird. Und je schneller man sich anpasst, desto weniger schmerzhaft wirds in Zukunft :).

Gruss, Remo
 
QUOTE Interessante Sitemap von Chip ;-)

Ja, ich hatte schon Angst, das mir mein Browser abschmiert!
 
Ja, mein Browser war auch an seiner Grenze. Ich glaube hier haben es die Chip-Jungs ein klein wenig übertrieben. Ausserdem sind die ganzen Anchor-Texte wirklich sehr aussagekräftig...
 
Sie müssen sich einloggen oder registrieren, um hier antworten zu können.
Zurück
Oben