Was ist Robots.txt?
Robots.txt wird eine Textdatei genannt, in der Seitenbetreiber und Administratoren bestimmen können, welche Seiten vom Suchmaschinen Crawler durchsucht und gelistet werden dürfen, sowie welche nicht. Die Robots.txt ist essentiell für Seiten, die ein gutes Ranking bei Google oder anderen Suchmaschinen anstreben. Die Crawler der Suchmaschinen überprüfen in den Verzeichnissen einer Webseite immer erst, ob es eine Robots.txt Datei gibt, bevor die Durchsuchung bei anderen Verzeichnissen weitergeht. Deshalb lohnt es sich in jedem Fall, die Textdatei anzulegen und im Hauptverzeichnis abzulegen.
In der Robots.txt können einzelne Bereiche, Verzeichnisse und Seiten für einen Suchmaschinen Crawler auch gesperrt werden. Dieses Vorgehen kann hilfreich sein, wenn man einige Informationen oder Unterseiten nicht auf der jeweiligen Suchmaschine gelistet haben möchte. Es lassen sich auch Unterschiede bei den Suchmaschinen definieren. So kann beispielsweise bestimmt werden, dass der Suchmaschinen Crawler von Google ein bestimmtes Verzeichnis oder eine Seite durchsuchen darf, der Crawler von Bing oder Yahoo allerdings nicht. So lässt sich genau bestimmen, wie sich die Bots bei der Durchsuchung der Webseite zu verhalten haben.
Wo muss eine Robots.txt Datei hinterlegt werden?
Die Suchmaschinen versuchen, das Vorhandensein einer Robots.txt zu überprüfen und diese auch zu beachten. Für dieses Vorhaben müssen sie die Robots.txt allerdings auch finden. Damit sie beachtet werden kann, muss sie deshalb immer im Hauptverzeichnis einer Seite hinterlegt werden. Wenn die Robots.txt in einem anderen Verzeichnis gespeichert wird, kann sie von den Suchmaschinen Crawler nicht beachtet werden.
Wie viele Robots.txt Dateien können pro Seite hochgeladen werden?
Um sicherstellen zu können, dass die Bots der Suchmaschinen auch die Robots.txt Datei finden und beachten, ist es wichtig, dass es nur eine einzelne Textdatei mit solch einem Namen gibt. Zwar dürfen sich zu Testzwecken zu Beginn auch mehrere Robots.txt Dateien im Hauptverzeichnis befinden, allerdings sollte die Seite dann noch nicht bei Suchmaschinen gelistet sein. Nur wenn der Crawler exakt eine Textdatei im Hauptverzeichnis antrifft, kann er die Befehle befolgen.
Wie sicher ist die Erstellung einer Robots.txt Datei?
Es gibt keine Garantie dafür, dass die Seiten, die sich in der Robots.txt Datei befinden, nicht von den Suchmaschinen beachtet werden. Die kleine Textdatei im Hauptverzeichnis dient nur als Hilfe und wird in der Regel von jedem Suchmaschinen Crawler auch beachtet. Vor fremden Zugriffen anderer Art kann die Robots.txt in der Regel nicht ausreichend schützen. Hierzu sollte das Verzeichnis im Webserver immer mit einem Passwort versehen werden. Dann ist die Seite allerdings auch nicht mehr für den normalen Nutzer einsehbar.
Wie ist eine Robots.txt Datei aufgebaut?
Bei der Robots.txt Datei gibt es immer zwei zusammenhängende Elemente. Zuerst muss definiert werden, welchen Crawler man mit einem bestimmten Befehl ansprechen möchte. Im nächsten Element muss dann der jeweilige Befehl benannt werden. Der auszuführende Befehl muss immer das Verzeichnis enthalten und die Information, ob die genannte Seite vom Crawler gelesen werden soll, oder nicht. Bei der Nennung der Crawler muss auf die Bezeichnung der Suchmaschinen beachtet werden. Eine Liste hilft bei der Erstellung der Robots.txt Datei:
MSN Crawler - Msnbot
Yahoo Crawler - Slurp
Bing Crawler - Bingbot
Google Crawler - Googlebot