Robots.txt-Datei

Die Robots.txt-Datei ist eine Textdatei. In ihr werden genau jene Domainbereiche definiert, die von einem Webcrawler, etwa einem Bot von Google oder Bing, gecrawlt werden dürfen oder nicht. Die Datei kann dabei einzelne Dateien, aber genauso gut komplette Verzeichnisse sowie Unterverzeichnisse oder sogar Domains vom Crawling ausschließen. Hauptsächlich schließt die Robots.txt-Datei jedoch einzelne Seiten gezielt aus oder teilt den Bots mit, wie oft eine Seite gecrawlt werden darf. Dafür wird sie im Root der Domain hinterlegt und ist das erste Dokument, das ein Bot anruft, wenn er die Website indiziert. Die Bots von Google und Bing halten sich an die in der Robots.txt-Datei niedergelegten Anweisung, allerdings gibt es keine Garantie, dass sich alle Bots an die Vorgaben halten.