Alain Aubert
Legendäres Mitglied
Hi Ayom
Ich weiss nicht wie es bei euch steht, aber ich denke der Slurp von Yahoo hat zu niedrige Frequenzen und zu hohe Spiderzeiten. Dass heisst er kommt zwar regelmässig, aber er spidert wie ein Verrückter...
Im Gegensatz zu Google, die einen Bot vorrausschicken (den Neuen) um die Seite mal genau unter die Lupe zu nehmen, was dann auch zur Folge hat, dass der Googlebot versteht (in etwa ;-) wo der Content liegt, und welche Seiten er spidern muss und welche nicht (?track=234&do=234). Yahoo hingegen ist von einem so intelligenten Bot noch meilenweit entfernt und spidert einfach alles. In meinen Augen sollte er noch öfters vobeikommen und dann weniger intensiv spidern. Es ist zwar nicht so, dass der Server kollabiert, aber die Last zu verteilen ist in meinen Augen immer sinnvoll.
Lange rede kurzer Sinn und faszinierende Ergebnisse: http://www.google.com/search?hl=de&c2coff=...&btnG=Suche&lr= -> http://help.yahoo.com/help/uk/ysearch/slurp/slurp-03.html
Wow das ist mir neu! Yahoo war so frei die robots.txt um eine Funktion zu erweitern:
QUOTE User-agent: Slurp
Crawl-delay: 20
Bedeutet, dass der Slurp zwischen 2 Request immer 20 Sekunden versteichen lassen muss. Zwar Symtombekämpfung, aber m.E. trotzdem nicht das dümmste.
Alles findet zu Yahoo Help findet man hier: http://help.yahoo.com/help/uk/ysearch/index.html
alain
Ich weiss nicht wie es bei euch steht, aber ich denke der Slurp von Yahoo hat zu niedrige Frequenzen und zu hohe Spiderzeiten. Dass heisst er kommt zwar regelmässig, aber er spidert wie ein Verrückter...
Im Gegensatz zu Google, die einen Bot vorrausschicken (den Neuen) um die Seite mal genau unter die Lupe zu nehmen, was dann auch zur Folge hat, dass der Googlebot versteht (in etwa ;-) wo der Content liegt, und welche Seiten er spidern muss und welche nicht (?track=234&do=234). Yahoo hingegen ist von einem so intelligenten Bot noch meilenweit entfernt und spidert einfach alles. In meinen Augen sollte er noch öfters vobeikommen und dann weniger intensiv spidern. Es ist zwar nicht so, dass der Server kollabiert, aber die Last zu verteilen ist in meinen Augen immer sinnvoll.
Lange rede kurzer Sinn und faszinierende Ergebnisse: http://www.google.com/search?hl=de&c2coff=...&btnG=Suche&lr= -> http://help.yahoo.com/help/uk/ysearch/slurp/slurp-03.html
Wow das ist mir neu! Yahoo war so frei die robots.txt um eine Funktion zu erweitern:
QUOTE User-agent: Slurp
Crawl-delay: 20
Bedeutet, dass der Slurp zwischen 2 Request immer 20 Sekunden versteichen lassen muss. Zwar Symtombekämpfung, aber m.E. trotzdem nicht das dümmste.
Alles findet zu Yahoo Help findet man hier: http://help.yahoo.com/help/uk/ysearch/index.html
alain
