Weblogeintrag vom 21. July 2003

Monday, 2003-07-21 11:55

Google versteht - überraschenderweise - zwei Erweiterungen des robots.txt-Standards: »*« für beliebige Zeichenfolgen sowie den Ende-Anker »$«. Im Gegensatz zum normalen robots.txt-Standard, bei dem Suchmuster prinzipiell am Anfang verankert sind, läßt sich damit auch so etwas formulieren:

User-agent: Googlebot
Disallow: /*/referers
User-agent: *
Disallow: /list.php?order=

Die erste Zeile blockiert alle Adressen, die irgendwo /referers beinhalten. Das schließt z.B. auch /z/referers_sites und /a/b/refererstats.php?x=y ein, jedoch nicht /referers. Die letzte Zeile funktioniert für alle Suchmaschinen und blockiert z.B. /list.php?order=v, jedoch nicht /list.php?x=y&order=v oder /list.php allein. (Siehe auch »Das PlasticWiki, Sandkästen und Xanga«.)

Kommentare zu diesem Beitrag können per E-Mail an den Autor gesandt werden.

Thiemos Archiv