Gerne führe ich einmal hier unsere aktuelle robots.txt für Typo3 an. Eher zur Eigendokumentation, aber sie darf natürlich auch gerne weiterverwendet und auch optimiert werden. Download der Textdatei
TYPO3 ROBOTS.TXT VORLAGE
Natürlich freue ich mich über Verbesserungsvorschläge in den Kommentaren, da ich denke da ist noch Potential. Bitte beachtet, dass man bei der Verwendung der robots.txt unterscheiden muss, ob die Webseite bereits seit längerem existiert oder ob es sich um eine komplett neue Webseite handelt. Wenn bereits Seiten indiziert sind, welche in der robots.txt vom Crawlen ausgeschlossen ist, so sollte die Deindexierung über die Meta Robots Angabe noindex erfolgen.
