Sandro Feuillet
Legendäres Mitglied
Hi,
Habe etwas spezielle Frage zur robots.txt.
Weiss jemand wie ich nur ein Listing verbietenkann, die darunter liegenden Seiten jedoch erlauben?
also
# http://beispiel.de/robots.txt
User-agent: *
Disallow: /foo/ #Seite in welcher alle Unterdateien aufgelistet sind, sollte nicht indexiert werden. Den Links solte jedoch gefolgt werden...
Allow: /foo/file.htm
Allow: /foo/*.htm
Geht sowas überhaupt? Möchte nicht dass die Listingseite in den Resultaten auftaucht, sie wurde nur für das Auflisten der darunter liegenden Seiten erstell. Die Listingseite ist für user nicht nützlich, die darunter liegenden Seiten schon.
Ach ja, es geht hier nicht um Doorwaypages oder sonstiges Suma-Tricksen, brauche das für eine Site-interne Google-Mini Suche, welche leider nur so alle gewünschten Seiten indexieren kann. Die gelisteten Seiten waren vorher nur via Suche erreichbar, nicht via Browsen.
Habe etwas spezielle Frage zur robots.txt.
Weiss jemand wie ich nur ein Listing verbietenkann, die darunter liegenden Seiten jedoch erlauben?
also
# http://beispiel.de/robots.txt
User-agent: *
Disallow: /foo/ #Seite in welcher alle Unterdateien aufgelistet sind, sollte nicht indexiert werden. Den Links solte jedoch gefolgt werden...
Allow: /foo/file.htm
Allow: /foo/*.htm
Geht sowas überhaupt? Möchte nicht dass die Listingseite in den Resultaten auftaucht, sie wurde nur für das Auflisten der darunter liegenden Seiten erstell. Die Listingseite ist für user nicht nützlich, die darunter liegenden Seiten schon.
Ach ja, es geht hier nicht um Doorwaypages oder sonstiges Suma-Tricksen, brauche das für eine Site-interne Google-Mini Suche, welche leider nur so alle gewünschten Seiten indexieren kann. Die gelisteten Seiten waren vorher nur via Suche erreichbar, nicht via Browsen.