+41 71 310 28 00 mail@huetzen.com
Seite auswählen

Die robots.txt-Datei ist eine kleine Text-Datei, welche Anweisungen für wohlgesinnte Crawler enthält. Über sie kann angegeben werden, welche Seiten auf einer Website indexiert und welche ignoriert werden sollen. Wichtig ist, dass diese Datei bloss Empfehlungen enhält, an welche sich ein Crawler nicht halten muss, so z.B. Spam-Bots, welche Seitenlinks in Kommentaren hinterlassen, um ihre eigene Link-Popularität zu steigern. Das bedeutet, die robots.txt-Datei dient nicht als Schutzmechanismus, für kritische Dateien, die der Öffentlichkeit unzugänglich sein sollen.