robots.txt richtig so?

[Wai]

Hallo,

ich habe entschieden für meine erste seo Versuche das Ryte tool zu nehmen und zwar die kostenlose Variante. Meine Seite läuft auf joomla 3.8.x.

Nun kriege ich u.a. eine Meldung wie auf dem Screenshot. Da muss wohl was in der robots.txt Datei gemacht werden. Ist das so richtig?

User-agent: *
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
#Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
#Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/

Allow: /components/
Allow: /libraries/

 

[arnego2]

ich habe entschieden für meine erste seo Versuche das Ryte tool zu nehmen und zwar die kostenlose Variante. Meine Seite läuft auf joomla 3.8.x.

Nun kriege ich u.a. eine Meldung wie auf dem Screenshot. Da muss wohl was in der robots.txt Datei gemacht werden. Ist das so richtig?

Machst du deine Seite um sie den Leuten zu zeigen oder um in dem Tool 100% gut dazustehen. Selbst Google gibt die Sachen das sie mit Robots.txt nicht indexen können. Nur wenn man sie indexen lässt verliert man seine Position. Die CSS sollten in der includes Ablage sein wenn ich mich nicht irre. 

Anstelle von #disallow und dem anschließendem allow (welches meines Wissens nicht existiert) einfach weglassen ist eleganter und wahrscheinlich wirkungsvoller.  

 

[Wai]

Natürlich will ich mehr Besucher.

Also lt. diesen Link hier soll es "Allow" geben. Die Zeilen mit "#" sind deaktiviert oder nicht? Laut der Kopfzeile meiner Vorlage ist das s.g. "auskommentieren" also inakiv machen.

Aber das ist weniger wichtig und man kann es schnell fixen. Vor allem hätte ich die Frage was ist mit "includes Ablage" gemeint? Geht es um etwas in dem Tool oder in der Textdatei?

 

[arnego2]

In http://www.robotstxt.org/robotstxt.html 

wird allow nicht erwähnt. und selbst die von dir zitierte Seite sagt: 

• Es gibt die Anweisungen „disallow“ und „allow“. Da „allow“ die Regel ist, muss diese in der Regel nicht verwendet werden. Außerdem kümmern sich nur die „Großen“ Robots um dieses „allow“.