robots.txt einzelne Dateien ausschliessen

[Stefan Brinkers]

was passiert wenn ich folgendes in meine robots.txt schreibe?

User-agent: Googlebot
Disallow: /index.php?todo

ich würde nämlich gerne alle index.php mit ?todo=blablabla "disallown"
aber z.B. index.php?pageid=... so lassen wie sie sind.

bzw.

betrifft das bei dem oben genannten Beispiel nur alle
index.php auf dem root Verzeichnis
oder alle index.php des Webspace / der Domain??

hab nämlich Userseiten auf z.B.
www.meinedomain.de/user/123456xyz/index.php die so bleiben sollen wie sie sind
und dann noch meine hauptseite
www.meinedomain.de/index.php?todo=start, etc. (wo ich die .php nich mehr drin haben will, weil die jetzt .htm heißen

...

hmm war das jetzt noch verständlich?

bin jedenfalls wie immer für jede Antwort dankbar

mfg und gute nacht

 

[maba]

Ich denke es betrifft nur die index.php im Root-Verzeichnis.

http://www.bjoernsworld.de/suchmaschinen/robots-txt.html

Wenn es nicht so sein sollte, bitte korrigieren.

 

[Stefan Brinkers]

thx für den Link

habs jetzt mal folgendermaßen eingestellt:

CODE User-agent: *
Disallow: /index.php?todo
Disallow: /index.php?todo=register
Disallow: /index.php?todo=neuigkeiten
Disallow: /index.php?todo=anmelden
Disallow: /index.php?todo=funktionen
Disallow: /index.php?todo=passwort
Disallow: /index.php?todo=tippsundtricks
Disallow: /index.php?site=sitemap
Disallow: /index.php?site=presse
Disallow: /index.php?todo=mitgliederseiten
Disallow: /index.php?todo=login
Disallow: /infos_kostenlos.htm
Disallow: /editor/

User-agent: thesubot
Disallow: /


mal schauen ob´s klappt