Robots

[sd12]

Wenn ich das Verzeichniss /g einer Domain per Robots.txt "sperre", weil der Inhalt auf keinen Fall ind Google Index darf...

...Kommt dann der AdSense Crawler noch?

 

[Duvi]

Laut google nicht.

QUOTE
Der Zugriff auf Ihre Website ist beschränkt, da ein robots.txt-Ausschluss erfolgt.
Wenn auf Ihrer Website eine Datei mit dem Namen robots.txt verwendet wird, kann der AdSense-Crawler Ihre Website unter Umständen nicht crawlen. Aus diesem Grund können wir möglicherweise nicht die relevantesten Anzeigen für den Content Ihrer Website schalten. Auf Seiten, die wir nicht crawlen oder deren Content wir nicht verstehen können, werden Anzeigen für gemeinnützige Organisationen geschaltet, für die Sie keine Einnahmen erzielen.

Wenn Sie unserem Crawler Zugriff auf Ihre Seiten gewähren möchten, können Sie dies tun, ohne anderen Bots das Crawlen Ihrer Website zu gestatten. Fügen Sie einfach am Anfang der Datei robots.txt die beiden folgenden Zeilen ein:

User-agent: Mediapartners-Google*
Disallow:

Nach dieser Änderung kann unser Bot den Content Ihrer Website durchsuchen und die relevantesten Google-Anzeigen für Ihre Seiten schalten.

 

[sd12]

Hmm... Shit...

Gibt es einen Weg, wie ich verhindern kann, dass die Seiten in den index kommen?

 

[Sascha Ahlers]

Du kannst das Verzeichnis doch sperren, aber die Kennung des Google-AdSense-Crawlers durchlassen.


Nach dem Text müsste es so funktionieren (ich würde es jedoch vorher testen):

CODE User-agent: *
Disallow: /g

User-agent: Mediapartners-Google*
Allow: /g

 

[sd12]

Dann hab ich wohl den Artikel falsch verstanden..

@Sascha hab es mal so versucht, werde mich melden, ob es funktioniert. Danke.