Robots.txt: Google schafft Noindex und andere Regeln ab

Ab 1. September gelten neue Regeln für den Suchmaschinen-Einweiser. Google unterstützt dann einige Anweisungen in der Robots.txt nicht mehr. Sie werden angeblich zu selten verwendet.

Die Robots.txt, genauer gesagt das Robots-Exklusion-Standard-Protokoll (REP), ist seit 25 Jahren der De-facto-Standard, um Crawlern der Suchmaschinen vorzugeben, welche Bereiche einer Website sie durchsuchen oder auslassen sollen. Vor kurzem hat Google angekündigt, REP zu einem echten Internet-Standard zu machen, der unter Open-Source-Bedingungen einsehbar ist.
Nun hat Google nachgelegt, und …

weiterlesen auf t3n.de
Quelle: Robots.txt: Google schafft Noindex und andere Regeln ab

Webseite erstellen lassen?