eine ganze reihe von suchmaschinen robots (bots, crawler, spider) sowie etliche grabber (z.b. wget) halten sich an vorgaben aus der robots.txt. wie genau auf die robots.txt reagiert wird, hängt von der jeweiligen programmierung des bots ab. robots.txt ist eine textdatei (plain text) die auf der obersten (root) ebene deines webverzeichnisses (z.b. in htdocs) liegen muss. […]
... go for it ⇒